Débuter avec l'IA : savoir quand lui faire confiance [SPECIAL 3/3]

Mardi, comité de direction. Tu as suivi la méthode de la semaine dernière : contexte, résultat attendu, exemple, vérification. L'IA t'a rendu une page impeccable. Trois motifs de départ des clients, le nombre de messages pour chacun, et une phrase représentative sous chaque motif. Tu l'as relue, elle t'a paru juste. Tu l'as projetée.

Au deuxième motif, le directeur commercial lève la main. « Cette phrase-là, sur les délais, elle vient de quel client ? J'aimerais relire le message en entier. » Tu ouvres le fichier. Tu cherches. Le message existe bien... mais la phrase n'y figure pas. L'IA l'a reformulée, resserrée, rendue plus parlante. Et au passage, elle a mis entre guillemets des mots que ton client n'a jamais écrits.

Tu avais demandé une citation pour pouvoir vérifier. Elle te l'a donnée. Il te restait à vérifier.

Rien de dramatique ce jour-là : un moment de gêne, une correction. Mais deux questions restent entières. Comment une réponse aussi bien construite peut-elle contenir quelque chose d'inventé ? Et pourquoi, toi, tu n'as rien vu ?

Commençons par l'IA. On l'a dit dans les deux épisodes précédents : un modèle de langage calcule la suite de texte la plus probable. Probable, pas forcément vraie. Pour lui, les deux ne se distinguent pas. Une citation plausible et une citation exacte se ressemblent énormément, mot pour mot. Quand la vraie information manque, ou qu'une version plus fluide existe, le modèle produit la version plausible, avec exactement le même aplomb.

En septembre 2025, des chercheurs d'OpenAI ont publié une explication qui éclaire bien le phénomène. Pendant leur entraînement et leur évaluation, les modèles sont notés un peu comme un élève face à un QCM : répondre au hasard a une petite chance de rapporter des points, un « je ne sais pas » n'en rapporte jamais. Ils apprennent donc à deviner plutôt qu'à reconnaître leur incertitude. C'est pour ça que je te proposais, la semaine dernière, d'écrire dans la fiche de poste de ton IA : « Si tu ne sais pas, dis-le, plutôt que d'inventer. » Ça réduit le problème. Ça ne le supprime pas.

Et ça ne touche pas que les débutants. En 2023, à New York, deux avocats ont déposé devant un tribunal fédéral un mémoire qui citait des décisions de justice trouvées avec ChatGPT. Plusieurs n'existaient pas. Ils ont été sanctionnés, et l'affaire a fait le tour du monde. En 2025, en Australie, le cabinet Deloitte a remis à un ministère un rapport de 237 pages qui contenait une citation inventée d'un jugement et des références à des travaux universitaires introuvables. Deloitte a dû rembourser une partie du contrat. Des professionnels expérimentés, dont la rigueur est précisément ce qu'on leur achète.

L'erreur ne prend pas toujours la forme d'une invention pure. Je distingue trois cas. L'invention : un chiffre, une référence, une citation qui n'existe pas. C'est la plus facile à attraper, à condition de chercher. L'erreur de contexte : une réponse juste en général, fausse chez toi. Une clause de contrat correcte dans l'absolu, mais qui ne respecte pas le droit français ou ta convention collective. Et l'erreur de raisonnement : chaque étape paraît logique, et pourtant la conclusion est fausse, parce qu'une prémisse était bancale. C'est la plus difficile à voir, surtout quand on n'est pas du domaine.

Maintenant, toi. Pourquoi tu n'as rien vu ? Parce que ton cerveau a fait ce qu'il fait très bien : économiser son énergie. Une réponse fluide, bien construite, sans faute, envoie un signal de sérieux. On prend la fluidité pour de l'exactitude. Les chercheurs en ergonomie connaissent ce phénomène depuis longtemps. Raja Parasuraman et Dietrich Manzey l'ont décrit sous le nom de complaisance envers l'automatisation : quand un système se montre fiable la plupart du temps, on le surveille de moins en moins. Et c'est justement le jour où il se trompe qu'on regarde ailleurs. Plus l'IA s'améliore, plus le piège se referme, puisqu'elle a raison de plus en plus souvent.

Reste le piège que j'annonçais la semaine dernière : l'hypothèse glissée dans la question. Avec Ludovic, on a parlé de la flatterie des IA, cette tendance à te donner raison. Le mécanisme va plus loin qu'un compliment. Si tu demandes « pourquoi nos clients partent-ils à cause du prix ? », tu as déjà mis la réponse dans la question. L'IA va la trouver, et elle va trouver des arguments pour la soutenir. Des travaux récents, encore en prépublication, observent ce phénomène dans des conversations réelles. Une équipe menée par Stanford a analysé près de 400 000 messages échangés par des utilisateurs qui avaient signalé un préjudice psychologique : on y voit des chatbots qui renvoient aux gens leurs propres croyances, en les amplifiant. C'est comme ça qu'une personne convaincue par une théorie du complot peut trouver dans son IA un allié. À l'inverse, une étude publiée en 2024 dans Science montrait qu'une conversation avec une IA chargée d'apporter des contre-arguments réduisait en moyenne de 20 % la croyance en une théorie du complot. La revue a émis un avertissement sur cet article en juin 2026, après la découverte d'incohérences dans les données, mais les auteurs affirment que leurs résultats tiennent après réanalyse. Même outil, deux effets opposés. La différence tient en grande partie à la façon dont on l'interroge.

Alors, concrètement, on fait quoi ? Tout vérifier tout le temps, ça reviendrait à ne plus se servir de l'outil. On va plutôt régler sa vigilance. C'est la grille que j'utilise avec les équipes que j'accompagne, et elle tient en deux questions.

Première question : dans ce domaine, l'IA est-elle fiable ? Elle l'est plutôt pour rédiger, reformuler, trouver des idées. Moyennement pour synthétiser ou analyser. Peu pour le droit, les chiffres précis, les références, la réglementation.

Deuxième question : si elle se trompe et que personne ne le voit, qu'est-ce que ça coûte ? Peu pour un brouillon interne ou un mail de relance. Davantage pour une présentation au comité de direction ou à un client. Beaucoup pour un contrat, un document réglementaire, une décision qui concerne une personne.

Croise les deux, et tu obtiens quatre zones.

En vert, fiabilité haute et coût faible : un brouillon, une reformulation. Une relecture rapide suffit.

En jaune, un cran au-dessus : un mail à un client, une synthèse pour une réunion interne. Relecture attentive, sans vérifier chaque ligne.

En orange, fiabilité moyenne ou coût réel : une analyse avec des chiffres, un argumentaire, ta page pour le comité. Là, tu vérifies chaque chiffre, chaque citation, chaque référence. C'est souvent là que les erreurs coûtent cher, parce qu'on traite cette zone comme si elle était jaune.

En rouge, fiabilité basse et coût élevé : le droit, la conformité, les contrats, la comptabilité. L'IA te donne un premier jet. Un expert humain du domaine relit chaque ligne avant que quoi que ce soit parte.

Ta page pour le comité était en orange. Tu l'as traitée comme une page jaune. C'est tout.

Pour les zones orange et rouge, je te propose trois vérifications. Elles prennent quelques minutes.

La première, c'est la source. Pour chaque chiffre, chaque citation, chaque référence, va voir si elle existe, et si elle dit bien ce que l'IA lui fait dire. Ouvre le message du client. Tape le nom de l'étude. Les avocats de New York se seraient épargné l'humiliation en cherchant ces décisions dans une base juridique. Si tu ne trouves pas, tu retires.

La deuxième, c'est le contradicteur. Demande à l'IA : « Donne-moi les arguments les plus solides contre ce que tu viens d'écrire. » Ou sa variante, que le psychologue Gary Klein appelle le pré-mortem : « Imagine que cette analyse se révèle fausse dans six mois. Qu'est-ce qui l'explique ? » Si les contre-arguments sont sérieux, ta réponse de départ mérite d'être nuancée avant de partir.

La troisième, c'est la question retournée. Ouvre une nouvelle conversation, et pose ta question dans l'autre sens, ou sans ton hypothèse. « Qu'est-ce qui, dans ces messages, ne relève pas du prix ? » Si la réponse bascule selon la façon dont tu as posé la question, elle t'en dit plus sur ta question que sur la réalité.

Et une dernière chose, qui n'est pas une vérification mais une règle. « C'est l'IA qui me l'a dit » n'a jamais protégé personne. Ni les avocats de New York, ni Deloitte. Ce que tu transmets, tu le signes. L'IA peut préparer, proposer, éclairer. La responsabilité de ce qui sort reste chez toi.

On arrive au bout de cette série. En trois épisodes, on a posé trois questions. Où mettre l'IA : ce que tu confies, ce que tu creuses avec elle, ce que tu gardes. Comment lui demander : le contexte, le résultat attendu, un exemple, la vérification. Et quand la croire : selon le domaine, selon ce que coûterait une erreur, et après quelques minutes de vérification quand ça compte.

Alors, la dernière réponse d'une IA que tu as utilisée telle quelle... elle était dans quelle zone ? Et si elle était en orange, qu'est-ce que tu as vérifié ?

Rien d'anxiogène là-dedans. Tu fais déjà ce tri avec les humains. Tu ne relis pas de la même façon le mail d'un stagiaire et le contrat préparé par ton avocat. Avec l'IA, il s'agit simplement de garder ce réflexe allumé, alors que tout, dans la fluidité de ses réponses, pousse à l'éteindre.

Confier ce qui peut l'être, bien demander, vérifier ce qui compte : c'est peut-être ça, une performance juste avec l'IA.