Le taux d'écart humain, indicateur le plus riche d'un dispositif de décision
Le pourcentage de dossiers où l'analyste ne suit pas la recommandation dit trois choses à la fois. C'est le seul indicateur qui mesure simultanément le modèle, les données et l'organisation.
Un indicateur que peu d'institutions enregistrent
La plupart des dispositifs de score mesurent le taux de défaut et le volume traité. Presque aucun ne mesure systématiquement l'écart entre ce que le système a recommandé et ce que l'humain a décidé — ni, surtout, le motif de cet écart.
C'est dommage, car cet écart est le seul signal qui traverse les trois couches d'un dispositif : la qualité du modèle, la qualité des données, et l'adhésion de l'organisation.
Trois lectures d'un même chiffre
Un écart élevé et concentré sur un segment signale un défaut de calibrage : le modèle se trompe systématiquement sur une population, et les analystes le corrigent à la main. C'est une information de modélisation, disponible avant que le portefeuille ne le montre.
Un écart élevé et dispersé, motivé par des éléments absents du dossier, signale un angle mort dans les données : l'analyste sait quelque chose que le système ne voit pas. C'est une information d'ingénierie de données, et souvent la plus rentable à traiter.
Un écart élevé sans motif consistant signale un problème d'adhésion ou de formation. C'est une information de conduite du changement — et le seul cas où la réponse n'est pas technique.
Pourquoi il faut exiger un motif écrit
Un écart sans motif enregistré est une information perdue. Exiger un motif rédigé ralentit l'analyste de quelques secondes et rend l'indicateur exploitable statistiquement.
L'objection habituelle est que les analystes rempliront le champ mécaniquement. C'est vrai si le motif est un champ libre sans conséquence. Ce l'est beaucoup moins lorsque les motifs sont catégorisés, agrégés, et rendus à la direction des risques sous forme d'analyse — car les analystes constatent alors que leur saisie sert à quelque chose.
Ce qu'un taux d'écart nul devrait inquiéter
Un taux d'écart de zéro n'est pas un succès. Il signifie soit que les analystes appliquent la recommandation sans l'examiner, soit qu'ils n'ont pas la latitude de s'en écarter. Dans les deux cas, la supervision humaine est devenue une formalité.
Un dispositif sain produit un écart faible mais non nul, motivé, et dont les motifs évoluent à mesure que le modèle et les données s'améliorent. C'est ce mouvement, plus que le niveau absolu, qui indique que la boucle de retour fonctionne.
Sources
- Spécifications fonctionnelles NEXCLARA — module VISION, famille d'indicateurs « qualité de décision ».
- Commission bancaire de l'UMOA — Circulaire n° 04-2017/CB/C, exigences de contrôle interne.