Pourquoi un score sans explication est inutilisable en banque

Le moment où la question se pose

Une institution qui déploie un modèle de score découvre rarement le problème de l'explicabilité au moment de la modélisation. Elle le découvre trois fois, à trois moments distincts, et chaque fois plus tard qu'elle ne l'aurait voulu.

La première fois, c'est un analyste en comité de crédit. Il porte un dossier refusé par le système alors que le client est connu de l'agence depuis huit ans. On lui demande pourquoi. S'il répond « le score est de 480 », la discussion ne porte plus sur le dossier : elle porte sur l'outil.

La deuxième fois, c'est un demandeur éconduit qui veut savoir ce qu'il doit corriger. Sans réponse précise, l'institution perd un client qu'elle aurait pu financer six mois plus tard, et se prive du seul mécanisme qui transforme un refus en relation.

La troisième fois, c'est un contrôleur. Il ne demande pas si le modèle est performant : il demande de reconstituer une décision précise, prise dix-huit mois plus tôt, avec les données et les règles de l'époque. C'est la fois la plus coûteuse.

Reconstituer n'est pas expliquer

Beaucoup de dispositifs répondent à cette exigence par une explication reconstruite après coup : un second modèle, plus simple, approxime le comportement du premier et produit une justification plausible.

Le problème n'est pas la qualité de l'approximation, il est de nature. Une explication calculée séparément de la décision peut diverger de la décision. Rien ne garantit qu'elle porte sur ce qui a réellement fait basculer le dossier — et lorsqu'un écart apparaît en inspection, c'est l'ensemble du dispositif qui devient suspect.

L'alternative est structurelle : produire l'explication dans le même acte de calcul que la décision. Chaque étage de la chaîne enregistre sa contribution au moment où il l'applique. L'explication n'est plus une interprétation du résultat, elle est le journal de sa fabrication.

Trois destinataires, trois formes, une seule vérité

Un analyste, un demandeur et un auditeur n'ont pas besoin de la même chose. L'erreur courante consiste à leur servir le même document, généralement calibré pour le premier.

L'analyste a besoin des facteurs déterminants, de leur sens et de leur ampleur, en langage métier : il doit pouvoir argumenter et savoir quelle pièce demander pour débloquer un dossier. Le demandeur a besoin des motifs principaux, formulés pour être communiqués, sans que la mécanique interne ni la politique de crédit soient exposées. L'auditeur a besoin de tout : entrées, versions de règles, versions de modèle, contributions calculées.

Ces trois formes doivent dériver du même calcul. Si elles proviennent de trois sources, elles finiront par se contredire, et la contradiction se découvrira au pire moment.

Ce que cela impose à l'architecture

Une décision doit être immuable : une réévaluation crée une décision nouvelle, liée à la précédente, jamais un écrasement. Elle doit référencer les versions exactes de politique, de grille et de modèle qui l'ont produite — sans quoi la rejouer donnera un autre résultat.

Une valeur manquante doit rester manquante. Remplacer une donnée absente par une moyenne fabrique une information qui n'existe pas, et rend l'explication fausse précisément sur le point où elle importait le plus.

Ces contraintes sont peu coûteuses lorsqu'elles sont posées au départ. Elles deviennent une refonte lorsqu'on les ajoute après.