Hallucinations et vérification : repérer, contrôler, sourcer

Vous avez déjà croisé le mot « hallucination » dans ce cours. Il est temps de l'étudier de près : d'où viennent ces erreurs, comment les repérer avant qu'elles ne vous coûtent cher, et surtout quelle méthode de vérification appliquer selon l'enjeu. C'est probablement la compétence la plus importante de tout ce cours, car c'est elle qui fait la différence entre un usage utile et un usage dangereux.

Qu'est-ce qu'une hallucination ?

Une hallucination est une réponse fausse, inventée ou non fondée, présentée avec le même aplomb qu'une réponse exacte. Le terme est une image : le modèle ne « voit » rien d'irréel, il produit simplement du texte plausible qui ne correspond pas à la réalité.

Voici les formes les plus courantes :

• Sources inventées : un article, un livre, un auteur ou un lien qui n'existe pas, avec une référence au format parfaitement crédible.
• Citations déformées : une phrase attribuée à quelqu'un qui ne l'a jamais dite sous cette forme.
• Chiffres et dates erronés : un pourcentage, un montant, une année donnés avec assurance.
• Faits mélangés : des informations vraies sur deux sujets voisins fusionnées en une seule.
• Fonctions ou commandes inexistantes en programmation et dans les tableurs.
• Détails ajoutés dans un résumé qui ne figuraient pas dans le texte d'origine.
• Raisonnement faux mais cohérent : une démonstration qui semble rigoureuse et qui aboutit à une conclusion incorrecte.

Pourquoi cela arrive-t-il ?

Rappelez-vous le mécanisme de la leçon 1.2 : le modèle prédit la suite la plus plausible, il ne consulte pas une base de faits vérifiés. Plusieurs facteurs augmentent le risque :

• Sujet pointu ou rare : peu présent dans les données d'entraînement, le modèle comble les trous par de la plausibilité.
• Sujet local ou récent : une information postérieure à l'entraînement, ou très spécifique à un lieu, une entreprise, un règlement interne.
• Demande précise sans source : « donne-moi la référence exacte », « cite l'article de loi » incitent à produire quelque chose de précis, même sans certitude.
• Question orientée : si votre prompt suppose un fait faux (« Pourquoi cette étude a-t-elle prouvé que… ? »), le modèle peut entrer dans votre cadre au lieu de le contester.
• Pression à répondre : l'outil est conçu pour répondre ; admettre « je ne sais pas » est moins naturel pour lui, sauf s'il est invité à le faire.

Repérer les signaux d'alerte

Soyez particulièrement vigilant lorsque :

• la réponse contient des chiffres précis, des dates, des noms propres, des références, des citations ;
• le sujet est récent, local, spécialisé, ou touche à la santé, au droit, à la finance ;
• la réponse est trop belle : elle confirme exactement ce que vous espériez ;
• les détails sont trop nombreux et trop parfaits pour une question vague ;
• deux essais de la même question donnent des réponses contradictoires ;
• la réponse change quand vous exprimez un doute (« tu es sûr ? ») sans qu'aucun nouvel élément n'apparaisse. Attention : cette réaction montre l'instabilité de la réponse, mais le fait que le modèle maintienne sa réponse ne prouve pas qu'elle soit exacte.

Adapter l'effort de vérification à l'enjeu

Enjeu	Exemples	Vérification recommandée
Faible	Idées de titres, reformulation informelle	Relecture attentive, bon sens
Moyen	Résumé d'un document, explication d'un cours, courrier professionnel courant	Comparer avec la source ; contrôler les chiffres et les noms
Élevé	Santé, droit, finances, chiffres publiés, décision engageante	Sources officielles ou professionnel qualifié ; aucune confiance sans contrôle indépendant

Cinq méthodes de vérification

1. Retourner à la source

Si le modèle a travaillé sur un document que vous lui avez fourni, comparez le résultat avec ce document. Demander « cite la phrase qui justifie chaque point » permet un contrôle rapide.

2. Recouper avec une source indépendante

Pour un fait, cherchez une confirmation dans une source fiable que vous avez trouvée vous-même : site d'un organisme officiel, publication d'une institution, documentation officielle d'un produit. Deux textes générés qui se confirment mutuellement ne comptent pas comme deux sources.

3. Faire expliquer la démarche

Pour un calcul ou un raisonnement, demandez le détail étape par étape (leçon 2.2) et refaites vous-même les calculs clés, par exemple avec une calculatrice ou un tableur.

4. Reposer la question autrement

Formulez la même question différemment, ou dans une nouvelle conversation. Des réponses divergentes signalent une zone d'incertitude. Veillez à ne pas suggérer la réponse dans la question.

5. Demander au modèle de signaler son incertitude

Une bonne pratique est d'autoriser l'incertitude dans le prompt :

Réponds à partir de tes connaissances générales. Pour chaque
affirmation importante, indique ton niveau de confiance (élevé, moyen,
faible). Si tu ne sais pas, dis « je ne sais pas » plutôt que de deviner.
Termine par la liste des points à vérifier.

Cela ne supprime pas les erreurs (le modèle peut mal évaluer sa propre confiance), mais cela vous donne des pistes de contrôle.

Demander des sources, puis les contrôler

Demander des sources est utile, à une condition : les vérifier. Le piège classique est de recevoir une bibliographie impeccable et de la croire sur parole.

1. Demandez des pistes plutôt que des références exactes : « Indique le type d'organisme ou de document à consulter pour confirmer cette information. »
2. Quand une référence est fournie, vérifiez qu'elle existe : cherchez le titre exact dans un moteur de recherche, un catalogue de bibliothèque ou le site de l'éditeur.
3. Si elle existe, vérifiez qu'elle dit bien ce qu'on lui fait dire : ouvrez le document et trouvez le passage.
4. Si un lien est fourni, ouvrez-le : il peut mener à une page inexistante ou sans rapport.
5. En cas de doute ou de source introuvable, considérez l'information comme non vérifiée et ne la reprenez pas.

Avant : Donne-moi des statistiques sur le télétravail.

Après : Je cherche des statistiques sur le télétravail. Indique pour chaque
donnée la source à consulter (organisme, type de document) et précise
quand tu n'es pas certain. Ne fournis aucun chiffre que tu ne peux pas
rattacher à une source identifiable.

Réduire les hallucinations en amont

• Fournissez les faits : donnez le texte ou les chiffres, et demandez de s'y tenir.
• Autorisez le « je ne sais pas » et « non précisé ».
• Posez des questions neutres plutôt qu'orientées.
• Divisez en étapes et contrôlez chaque étape.
• Évitez de demander des détails ultra-précis (référence exacte, numéro d'article) sans source.
• Choisissez l'outil adapté : pour des faits récents, un outil connecté à des sources et un contrôle des liens ; pour des calculs, un tableur plutôt que la mémoire du modèle.

À vous de jouer

Exercice. Posez à un assistant une question factuelle précise sur un domaine que vous connaissez bien, en demandant des sources. Contrôlez ensuite : chaque source existe-t-elle ? dit-elle ce qu'on lui prête ? Classez chaque information en « vérifiée », « non vérifiable » ou « fausse ». Puis reformulez le prompt pour réduire le risque (autoriser « je ne sais pas », demander le niveau de confiance) et comparez les deux résultats.

Voir une solution

Exemple d'observation sur un sujet maîtrisé (disons l'histoire d'une commune) :

• Sur 6 affirmations : 3 vérifiées (faits généraux), 2 approximatives (dates décalées), 1 inventée (un événement que vous savez ne pas avoir eu lieu).
• Sur 3 références proposées : 1 existe mais ne contient pas la phrase citée ; 2 sont introuvables.

Avec le prompt amélioré (« indique ta confiance, ne cite aucune source que tu ne peux pas rattacher, dis "je ne sais pas" »), le modèle renonce généralement aux références précises et signale ses incertitudes : le résultat est moins impressionnant mais plus honnête, donc plus utilisable. Retenez la règle pratique : une information non vérifiée est une hypothèse, pas un fait.

La fiabilité factuelle n'est qu'une facette. Reste à aborder deux risques plus discrets : les biais dans les réponses, et la confidentialité de ce que vous envoyez à l'outil.