Comment un modèle produit du texte : tokens, probabilités, entraînement

Vous savez désormais qu'un assistant d'IA repose sur un modèle de langage. Mais comment ce modèle fabrique-t-il une réponse ? Comprendre ce mécanisme, sans une seule formule, vous donnera une intuition précieuse : celle qui permet de deviner pourquoi un prompt marche, pourquoi un autre échoue, et pourquoi il faut toujours vérifier.

Le texte, découpé en « tokens »

Un modèle de langage ne lit pas des mots comme vous. Il découpe le texte en petits morceaux appelés tokens : un mot court, une partie de mot, un signe de ponctuation, parfois un espace. Un mot courant et fréquent forme souvent un seul token ; un mot long, rare ou technique est fréquemment découpé en plusieurs morceaux. Par exemple, « incroyablement » peut être séparé en plusieurs tokens.

Le découpage dépend du modèle et de la langue. Retenez deux conséquences pratiques :

• Le modèle travaille uniquement sur ces unités. Il ne « voit » pas les lettres une à une, ce qui explique certaines maladresses (compter les lettres d'un mot, par exemple).
• La quantité de texte que le modèle peut traiter à la fois est mesurée en tokens : c'est ce que l'on appelle la fenêtre de contexte. Nous y reviendrons en détail au chapitre 2.

Prédire la suite, encore et encore

Le principe central est étonnamment simple. À partir de tous les tokens déjà présents (votre prompt, puis ce que le modèle a déjà écrit), il calcule une probabilité pour chaque token possible comme suite, puis en choisit un. Il ajoute ce token au texte et recommence, jusqu'à produire une réponse complète.

Texte de départ : « Le ciel est »
Suites possibles : « bleu » (très probable), « nuageux » (probable),
                   « une théière » (très improbable)

Pensez à la fonction de saisie prédictive de votre téléphone, qui propose le mot suivant. Un modèle de langage est un cousin immensément plus sophistiqué : au lieu de regarder les deux ou trois derniers mots, il prend en compte tout le contexte, avec des relations subtiles entre les éléments du texte.

Pourquoi la même question donne deux réponses différentes

Le choix du token suivant comporte une part d'aléatoire contrôlée. Si le modèle choisissait toujours le token le plus probable, ses réponses seraient très répétitives et monotones. On autorise donc de la variation, ce qui explique que la même question posée deux fois puisse donner deux formulations différentes.

Certains outils exposent un réglage souvent appelé température :

• Température basse : le modèle favorise les choix les plus probables. Les réponses sont plus constantes et prévisibles, utiles pour extraire des informations ou suivre un format strict.
• Température élevée : le modèle accepte des choix moins probables. Les réponses sont plus variées et plus « créatives », mais aussi plus risquées en précision.

Dans la plupart des assistants grand public, ce réglage est géré pour vous et n'apparaît pas. Retenez le principe : créativité et fiabilité tirent parfois dans des sens opposés.

L'entraînement : apprendre des régularités

Comment le modèle sait-il quelles suites sont probables ? Pendant l'entraînement, on lui présente une quantité considérable de textes. À partir d'un extrait, il essaie de deviner le token suivant, compare sa proposition à la réalité, puis ajuste légèrement ses réglages internes (que l'on appelle les paramètres) pour faire mieux la fois suivante. Ce cycle est répété un nombre immense de fois.

À la fin, le modèle a intégré des régularités : la grammaire, le style des différents genres de textes, des associations d'idées, des connaissances sur le monde telles qu'elles apparaissent dans ses données. Ces régularités ne sont pas stockées comme des articles consultables : elles sont réparties dans des milliards de nombres.

Du modèle brut à l'assistant

Un modèle uniquement entraîné à prolonger du texte n'est pas encore un bon assistant. Une seconde phase d'ajustement l'apprend à suivre des consignes, à répondre de façon utile et à éviter certains contenus problématiques. Des évaluateurs humains peuvent y contribuer en comparant des réponses. C'est ce qui explique que l'assistant « joue le jeu » du dialogue.

Important : en général, le modèle ne consulte pas un document source quand il répond. Il reconstruit une réponse plausible à partir de ses paramètres. Certains outils ajoutent une fonction de recherche ou de lecture de documents, ce qui change la donne (nous en parlerons au chapitre 5), mais il faut le savoir et le vérifier dans l'outil que vous utilisez.

Forces

• Rédiger, reformuler, résumer, traduire, changer de ton.
• Proposer des idées, des plans, des variantes.
• Expliquer un concept à différents niveaux de difficulté.
• Aider à écrire ou à comprendre du code, des formules, des tableaux.
• Structurer l'information : classer, extraire, mettre en tableau.

Limites et hallucinations

Parce qu'il cherche la suite plausible et non la suite vraie, un modèle peut produire une information fausse avec un ton très assuré. On parle d'hallucination : référence bibliographique inventée, citation approximative, chiffre erroné, fonction de code qui n'existe pas.

Voici un exemple typique. Vous demandez : « Cite trois articles scientifiques sur le sommeil des adolescents, avec leurs auteurs. » Le modèle sait à quoi ressemble une référence (des noms, une année, un titre au style crédible) et peut en fabriquer qui sont parfaitement vraisemblables, mais qui n'existent pas.

Autres limites courantes :

• Connaissances datées : elles s'arrêtent à une certaine date d'entraînement, sauf si l'outil est connecté à une source actuelle.
• Calculs et raisonnements longs : le modèle peut faire des erreurs sur une longue chaîne d'étapes.
• Sensibilité à la formulation : deux questions voisines peuvent donner des réponses de qualité différente.
• Absence de véritable compréhension du monde réel : il manipule des textes, il n'a ni expérience ni intention.
• Biais : il reflète en partie les déséquilibres des textes sur lesquels il a appris.

Ce que cela change pour vous

Cette mécanique explique plusieurs conseils que vous retrouverez tout au long du cours :

• Puisque le modèle prolonge ce que vous écrivez, plus votre prompt est précis, plus la suite est pertinente.
• Puisqu'il imite des styles, montrer un exemple est très efficace.
• Puisqu'il ne vérifie pas les faits, c'est à vous de contrôler ce qui compte.
• Puisqu'il génère avec une part d'aléatoire, un résultat peut varier : testez plusieurs fois avant de conclure qu'un prompt fonctionne.

À vous de jouer

Exercice 1. Posez à un assistant une question dont vous connaissez très bien la réponse (votre ville, votre métier, un sujet de passion). Relevez ce qui est exact, approximatif ou inventé.

Exercice 2. Posez exactement la même question à deux reprises (en ouvrant deux conversations différentes). Comparez les deux réponses : qu'est-ce qui change, qu'est-ce qui reste identique ?

Exercice 3. Demandez à l'assistant : « Donne-moi la référence exacte d'un livre sur [un sujet de votre choix] avec son éditeur et son année. » Cherchez ensuite cette référence par un autre moyen.

Voir une solution

Il n'y a pas de bonne réponse unique : l'objectif est de développer votre intuition. Voici ce que l'on observe souvent :

• Exercice 1 : l'essentiel est généralement correct, mais les détails (dates, noms, chiffres) peuvent être approximatifs. Plus le sujet est local ou pointu, plus les erreurs sont fréquentes.
• Exercice 2 : le fond est souvent proche, la formulation et parfois les détails varient. C'est l'effet de la part d'aléatoire dans la génération.
• Exercice 3 : la référence peut sembler crédible, mais l'éditeur, l'année ou même le livre peuvent être inexacts, voire inventés. Notez ce constat dans votre document : il justifiera la règle « je vérifie toute source citée ».

Maintenant que vous savez comment ça marche, passons au panorama : quels outils existent, et comment choisir celui qui convient à votre besoin ?