Tester et améliorer ses prompts : critères, jeux de tests et bibliothèque
Un prompt qui marche une fois n'est pas forcément un bon prompt. Les professionnels ne se fient pas à une impression : ils testent leurs prompts sur plusieurs cas, avec des critères clairs, puis les améliorent méthodiquement. Cette leçon vous donne une démarche simple, accessible sans aucun outil technique, pour passer de « ça a marché hier » à « je sais que ça marche ».
Pourquoi tester ?
Souvenez-vous de la leçon 1.2 : la génération comporte une part d'aléatoire. Un prompt peut donner une excellente réponse sur un exemple et une réponse médiocre sur un autre. Sans test, vous risquez de réutiliser un prompt fragile dans une situation importante.
Tester, c'est répondre à trois questions :
- Le prompt donne-t-il un bon résultat sur plusieurs cas différents ?
- Le résultat est-il stable si je le relance ?
- Qu'est-ce qui casse et dans quelles conditions ?
Étape 1 : définir des critères d'évaluation
Avant de tester, décidez à quoi ressemble une bonne réponse. Sans critères, vous jugerez « au feeling », et vous changerez d'avis d'un jour à l'autre. Choisissez trois à cinq critères observables, formulés comme des questions auxquelles on répond par oui ou non, ou par une note simple.
| Critère | Question de contrôle |
|---|---|
| Exactitude | Toutes les informations sont-elles présentes dans la source, sans ajout ? |
| Complétude | Les points essentiels sont-ils tous couverts ? |
| Format | La structure demandée est-elle respectée à la lettre ? |
| Ton | Le ton correspond-il au public ? |
| Longueur | La limite est-elle respectée ? |
| Utilité | Puis-je l'utiliser tel quel, avec peu de retouches ? |
Un conseil : notez un critère « éliminatoire » (par exemple, aucune information inventée). Si ce critère n'est pas respecté, le test est raté, quelle que soit la qualité du reste.
Étape 2 : constituer un jeu de tests
Un jeu de tests est un petit ensemble d'entrées représentatives sur lesquelles vous essayez le prompt. Pas besoin de centaines : quatre à six cas bien choisis suffisent pour un usage personnel.
- Cas typique : une entrée normale, représentative de votre usage quotidien.
- Cas court ou pauvre : très peu d'informations, pour voir si le modèle invente.
- Cas long ou riche : beaucoup de contenu, pour voir si des éléments sont perdus.
- Cas piège : ambigu, contradictoire, ou avec une information manquante.
- Cas inhabituel : un format ou un ton différent de d'habitude.
Conservez ces cas dans un document : vous pourrez les rejouer chaque fois que vous modifiez le prompt, pour vérifier que vous n'avez rien dégradé.
Attention
Construisez vos cas de test avec des données fictives ou anonymisées. Un jeu de tests contenant des informations réelles de clients ou de collègues va à l'encontre de tout ce que nous avons vu sur la confidentialité.
Étape 3 : exécuter et noter
Lancez le prompt sur chaque cas, dans une conversation vierge à chaque fois (pour ne pas être influencé par l'historique). Pour chaque cas, relancez deux ou trois fois si la tâche est importante, afin d'évaluer la stabilité. Notez les résultats dans un tableau simple :
Prompt : « Résumé de compte rendu » (version 1)
Outil : [nom], date : [date]
Cas | Exactitude | Format | Longueur | Remarque
------------|------------|--------|----------|------------------------
Typique | OK | OK | OK | -
Court | KO | OK | OK | invente un responsable
Long | OK | OK | KO | dépasse 150 mots
Piège | OK | KO | OK | oublie le tableauÉtape 4 : dépanner en fonction du symptôme
Chaque défaut a généralement une cause et un remède typiques.
| Symptôme | Cause probable | Remède |
|---|---|---|
| Réponse trop vague ou générique | Contexte, public ou objectif manquants | Ajouter le contexte et le public ; demander des exemples concrets ; imposer un format précis |
| Réponse hors sujet | Tâche ambiguë ou consignes mélangées ; conversation encombrée | Reformuler avec un verbe d'action clair ; découper ; repartir d'une conversation vierge |
| Réponse trop longue | Pas de limite ; demande large | Fixer une limite (nombre de phrases) ; demander « directement, sans introduction » |
| Réponse trop courte ou superficielle | Tâche non détaillée | Demander de développer des points précis ; fournir un gabarit |
| Informations inventées | Absence de source ; consigne de remplir | Fournir le texte source ; autoriser « non précisé » ; interdire l'inférence |
| Format non respecté | Format décrit trop vaguement | Donner un gabarit ou un exemple exact |
| Résultats instables d'un essai à l'autre | Tâche trop ouverte | Ajouter des exemples (few-shot) ; resserrer les contraintes |
Une règle d'or : changer une chose à la fois
Quand vous modifiez un prompt, changez un seul élément à la fois, puis rejouez vos tests. Si vous en changez cinq en même temps, vous ne saurez pas ce qui a aidé ou nui. Notez chaque version : « v1, v2, v3 » avec ce qui a changé.
Étape 5 : documenter et ranger dans une bibliothèque
Un prompt validé mérite une fiche. Voici un modèle minimal :
Nom : Résumé de compte rendu en actions
Objectif : transformer des notes de réunion en liste d'actions
Entrée attendue : notes de réunion (texte, anonymisées)
Prompt : [texte complet, avec les repères [entre crochets]]
Sortie attendue : tableau action | responsable | échéance
Limites connues : peut ne pas détecter un responsable implicite
Testé avec : [outil], [date], 5 cas de test (4 OK, 1 à relire)
Version : v3 (ajout de « non précisé »)Cette fiche vous servira directement au chapitre 6, où vous documenterez 5 à 8 prompts pour votre assistant personnel.
Organiser sa bibliothèque
- Un document unique (ou un dossier) facile à retrouver et à copier.
- Des catégories : rédiger, résumer, apprendre, s'organiser.
- Des noms parlants : « Réponse polie à une réclamation » plutôt que « Prompt 7 ».
- Un historique de versions pour ne pas perdre un état qui marchait.
- Une révision régulière : les outils évoluent ; un prompt performant il y a quelques mois peut mériter un nouveau test.
À vous de jouer
Exercice. Prenez un prompt que vous avez écrit dans ce cours (par exemple le résumé de la leçon précédente). Définissez trois critères, construisez un jeu de quatre cas de test fictifs, jouez-les en conversations vierges, notez les résultats dans un tableau, puis améliorez le prompt sur un seul point et rejouez les tests. Terminez en rédigeant la fiche de bibliothèque.
Voir une solution
Exemple pour le prompt « Réponse polie à une réclamation » :
- Critères : (1) aucune promesse non autorisée (éliminatoire) ; (2) ton empathique ; (3) moins de 120 mots.
- Cas : retard de livraison ; produit défectueux ; réclamation agressive ; réclamation très courte (« c'est nul »).
- Résultats v1 : cas 1 et 2 OK ; cas 3 : promet un remboursement (éliminatoire) ; cas 4 : invente le contexte.
- Modification unique v2 : ajout de « Ne promets ni remboursement ni délai ; si le contexte manque, pose une question de clarification à la place de rédiger. »
- Résultats v2 : cas 3 et 4 corrigés. Fiche rédigée avec la limite connue : « à relire avant envoi, aucune décision commerciale ».
Notez que le test a révélé deux problèmes qu'aucun cas typique n'aurait montrés : ce sont les cas pièges qui rendent un jeu de tests utile.
À retenir
- Un prompt qui a marché une fois n'est pas validé : testez-le sur plusieurs cas, dans des conversations vierges.
- Définissez trois à cinq critères observables, dont un critère éliminatoire (par exemple « aucune information inventée »).
- Un jeu de tests contient des cas typiques, pauvres, riches et pièges, avec des données fictives ou anonymisées.
- Dépannez selon le symptôme (vague, hors sujet, trop long, inventé) et changez une seule chose à la fois.
- Documentez chaque prompt validé (objectif, entrée, sortie, limites, version) dans votre bibliothèque.
Vous maîtrisez désormais l'art d'écrire et de tester des prompts. Le chapitre suivant aborde ce qui conditionne l'usage responsable de ces outils : fiabilité, éthique et cadre légal, en commençant par les hallucinations.