Sommaire du document
- 1. Score théorique vs évaluation contradictoire
- 2. Pentest IA & red teaming
- 3. Évaluation RAG & hallucinations
- 4. Construire un benchmark propriétaire
- 5. Métriques : précision, rappel, faithfulness
- 6. Robustesse & dérive en production
- 7. EU AI Act — art. 14 et 15
- 8. ISO/IEC 42001 (SMIA)
- 9. Calendrier réglementaire (Omnibus 2026)
- 10. Protocole de recette contradictoire
- 11. Questions fréquentes
- 12. Fonds documentaire
Du score théorique à l'évaluation contradictoire
L'évaluation des systèmes d'intelligence artificielle souffre d'une confusion courante entre la performance théorique d'un modèle de base (foundation model) et la fiabilité opérationnelle d'une application déployée dans un domaine métier précis.
Les benchmarks académiques publics (MMLU, GSM8K, HumanEval) mesurent la capacité générale d'un modèle dans des conditions standardisées. Ils ne permettent pas de prédire le comportement d'un pipeline logiciel intégrant un grand modèle de langage (LLM), un moteur de recherche vectoriel (RAG) ou un agent décisionnel confronté aux données brutes et imparfaites d'une organisation.
Benchmark public
Score obtenu sur un jeu de données ouvert et statique — inexploitable pour évaluer le risque d'hallucination sur un corpus privé.
Pentest IA & red teaming
Recherche active de failles logiques, de contournements (jailbreak) et de fuites de contexte par injection d'instructions pièges.
Évaluation de factualité
Vérification déterministe de la fidélité des réponses au regard des documents réellement extraits par le système.
Contrairement à un logiciel déterministe, dont la couverture de tests garantit l'absence de régression, un modèle probabiliste produit une distribution de réponses. L'évaluer exige d'analyser cette distribution jusqu'à ses limites : quel comportement face aux données incomplètes, aux requêtes ambiguës, aux tentatives de manipulation ?
Une évaluation technique n'a de valeur que si le jeu de test est étanche aux données d'entraînement du modèle, élaboré par des experts du domaine métier cible, et exécuté sans ajustement paramétrique par le fournisseur de la solution.
Pentest IA et red teaming : cartographier les failles logiques
Le pentest IA (test d'intrusion appliqué aux systèmes d'intelligence artificielle) et l'AI red teaming désignent une méthode d'évaluation qui simule des comportements malveillants, des requêtes limites ou des biais de raisonnement pour forcer un système à enfreindre ses consignes de sécurité ou à produire des informations erronées.
Catégories de vulnérabilités logiques ciblées
Dans un système appuyé sur des LLM ou des agents autonomes, les vulnérabilités ne se logent pas uniquement dans la couche réseau ou la gestion mémoire, mais dans l'interprétation sémantique du texte — le périmètre que couvrent des taxonomies de référence comme l'OWASP Top 10 pour les applications LLM :
- Injection directe de prompt : l'utilisateur formule une instruction prioritaire modifiant le comportement initial du système.
- Injection indirecte : une instruction malveillante est dissimulée dans un document externe lu par le modèle — une facture PDF, une page web contenant un texte masqué ordonnant une action non autorisée.
- Jailbreak : scénarios de jeu de rôle, encodage ou imbrications logiques visant à contourner les filtres configurés par l'éditeur.
- Instabilité en grand contexte : perte de consignes clés ou invention de faits non documentés quand la longueur du contexte augmente (needle in a haystack).
Le pentest applicatif classique cherche une faille dans le code source pour s'infiltrer dans un réseau. Le pentest IA teste la résistance de la logique conversationnelle, la perméabilité du contexte sémantique et la dérive comportementale du modèle sous sollicitation trompeuse.
Évaluation des architectures RAG et mesure du taux d'hallucination
Les architectures de génération augmentée par récupération (RAG) sont le standard pour connecter un LLM aux bases documentaires d'une organisation. Elles sont exposées à deux familles de défaillances distinctes, qu'il faut mesurer séparément.
| Étape | Défaillance possible | Métrique recommandée |
|---|---|---|
| Recherche vectorielle | Les documents pertinents ne sont pas extraits (bruit / miss). | Context recall & context precision |
| Génération | Le modèle invente une information absente des documents fournis. | Faithfulness (fidélité au contexte) |
| Synthèse métier | La réponse est fidèle aux sources mais hors sujet. | Answer relevance |
Mesurer un taux d'hallucination exige une décomposition rigoureuse : chaque phrase produite est réduite en unités d'information atomiques (claims), puis confrontée aux données sources pour vérifier si l'affirmation en est formellement déductible.
Construire un jeu de test de référence (benchmark propriétaire)
Un pentest IA ou une évaluation de factualité réclamée à un fournisseur doit s'appuyer sur un jeu de test (golden dataset) élaboré de façon indépendante.
- Représentativité : le jeu de données reprend la typologie réelle des documents d'exploitation — PDF mal cadrés, tableaux complexes, jargon, fautes de frappe courantes.
- Cas négatifs et hors-domaine : au moins 15 % des requêtes ne doivent trouver aucune réponse dans le corpus, pour vérifier que le système sait répondre « je ne dispose pas de cette information » plutôt que d'inventer une réponse plausible.
- Vérité terrain à double aveugle : les réponses attendues sont rédigées et validées par des experts métier, sans recours préalable à l'IA.
- Non-contamination : le jeu de données reste confidentiel et n'est jamais transmis au fournisseur pour entraînement ou réglage fin.
- Périodicité : le benchmark évolue régulièrement, pour éviter tout phénomène de sur-optimisation sur le jeu de recette.
Métriques techniques : précision, rappel, faithfulness, G-Eval
Une métrique unique (« 95 % d'exactitude ») sur un système d'IA n'a guère de valeur en soi. Selon le cas d'usage, le coût d'un faux positif et celui d'un faux négatif sont fortement asymétriques.
| Métrique | Méthode | Interprétation |
|---|---|---|
| Exactitude | (VP+VN) / total | Inutilisable sur données déséquilibrées (fraude, failles rares). |
| Précision | VP / (VP+FP) | Proportion de réponses vraies parmi les alertes générées. |
| Rappel | VP / (VP+FN) | Capacité à ne pas rater les éléments critiques. |
| Faithfulness | claims vérifiées / total | Taux strict d'absence d'hallucination. |
| G-Eval / LLM-as-a-judge | arbitrage par LLM, chaîne de pensée | Cohérence et ton sur gros volumes — exige un étalonnage régulier face à l'humain. |
Robustesse et dérive en production
La performance d'un système d'IA évolue dans le temps sous l'effet de deux phénomènes : la dérive des données d'entrée (data drift) et la modification silencieuse du modèle sous-jacent (model drift).
Quand un fournisseur s'appuie sur une API tierce hébergée dans le cloud, la mise à jour du modèle par l'éditeur principal peut altérer la logique de réponse sur des requêtes complexes, sans qu'aucune modification de code n'ait été effectuée côté application cliente.
Pour garantir la stabilité d'un système dans le temps, un banc d'essai de référence s'exécute de façon automatisée à chaque changement de version, ou à fréquence hebdomadaire, pour détecter immédiatement toute régression du score de fidélité.
Repères EU AI Act — articles 14 et 15
Le règlement européen sur l'intelligence artificielle (règlement UE 2024/1689) fixe des exigences techniques pour les systèmes à haut risque, et des obligations de transparence pour les modèles à usage général.
- Article 14 — contrôle humain : les systèmes doivent permettre à une personne physique de vérifier les sorties, d'en comprendre les limites et d'invalider une décision automatisée à tout moment. La calibration des scores de confiance est ici centrale.
- Article 15 — exactitude, robustesse et cybersécurité : exige que les systèmes soient testés contre les erreurs de génération, les failles d'apprentissage et les tentatives de manipulation externe — injection de prompt, rétroaction malveillante, pentest IA.
- Documentation technique : le fournisseur publie les niveaux d'exactitude mesurés, les métriques utilisées, le domaine d'emploi prévu et les limites connues.
Articulation avec l'ISO/IEC 42001 (SMIA)
L'ISO/IEC 42001 spécifie les exigences d'un système de management de l'intelligence artificielle (SMIA) — le cadre organisationnel de la gouvernance des modèles : gestion des risques, traçabilité des données, revues de direction.
La certification atteste l'existence de ces processus documentés. Elle n'atteste pas, par construction, la performance technique d'un modèle donné ni l'absence d'hallucination en production. Un pentest IA et un benchmark de factualité produisent la preuve matérielle que les contrôles de vérification et de validation prévus par la norme demandent — sans s'y substituer.
Calendrier réglementaire — mise à jour Digital Omnibus 2026
Les échéances d'application de l'EU AI Act ont été réajustées par le paquet de simplification « Digital Omnibus », entré en vigueur le 27 juillet 2026, pour tenir compte du calendrier de publication des normes harmonisées CEN-CENELEC.
| Date d'effet | Périmètre | Exigence principale |
|---|---|---|
| 2 fév. 2025 | Pratiques interdites & littératie IA | Interdiction des risques inacceptables ; formation des équipes. |
| 2 août 2025 | Modèles à usage général (GPAI) | Transparence, droit d'auteur, résumés d'entraînement. |
| 2 août 2026 | Transparence & marquage | Information lors de l'interaction avec une IA ; grâce jusqu'au 2 déc. 2026 pour le marquage des contenus déjà sur le marché. |
| 2 déc. 2027 | Haut risque (annexe III) | Dossier technique complet, tests de robustesse (art. 15), évaluation de conformité. |
| 2 août 2028 | IA intégrée aux produits réglementés | Conformité aux réglementations sectorielles (annexe I). |
Protocole de recette contradictoire
Conduire un test de recette contradictoire ou un pentest IA avant l'acceptation finale d'une solution suit un protocole en cinq phases.
- Gel du jeu de test : échantillon étanche, cas simples, cas complexes, cas piégés ou hors-domaine.
- Fixation des seuils d'acceptabilité : taux minimal de fidélité, taux maximal d'hallucination toléré, seuil de rappel sur les catégories critiques — définis par écrit avant l'exécution.
- Campagne d'intrusion (red teaming) : prompt injection, demandes hors périmètre, requêtes contradictoires.
- Analyse de la matrice d'erreurs : erreur de recherche documentaire, erreur de raisonnement, problème d'interface.
- Rapport d'évaluation : compte-rendu factuel, traçabilité des résultats, état des risques identifiés.
Questions fréquentes
Qu'est-ce qu'un pentest IA, et en quoi diffère-t-il d'un pentest informatique classique ?
Un pentest IA cible la couche logique, sémantique et comportementale d'un modèle. Un pentest informatique classique cherche des failles de code ou de serveur ; le pentest IA évalue la vulnérabilité face aux injections d'instructions, aux jailbreaks, aux fuites de contexte et aux hallucinations induites.
Quelle différence entre évaluer un modèle (LLM) et évaluer une application (RAG) ?
Évaluer un modèle teste ses capacités générales sur un corpus universel. Évaluer une application RAG teste l'ensemble du pipeline — recherche vectorielle, mise en contexte, génération — sur sa capacité à répondre uniquement à partir des documents d'une organisation, sans inventer de faits.
Le pentest IA nécessite-t-il un accès au code source du modèle ?
Non. Il s'effectue en boîte noire, en analysant les entrées et sorties du système via ses interfaces ou ses API — les conditions d'exploitation réelles d'un utilisateur ou d'un attaquant externe.
Un score ROUGE ou BLEU suffit-il à mesurer la qualité d'une réponse générée ?
Non. Ces métriques mesurent la superposition lexicale entre deux textes. Elles sont inaptes à détecter une contradiction : une phrase avec une négation peut obtenir un score BLEU élevé tout en affirmant l'inverse de la vérité terrain.
Qu'est-ce qu'une hallucination dans un LLM, et comment la quantifier ?
Une affirmation syntaxiquement correcte mais factuellement fausse ou non étayée par les données sources. On la quantifie en calculant la proportion des unités d'information de la réponse qui ne trouvent aucune correspondance dans le contexte documentaire fourni.
Le pentest IA remplace-t-il un audit de sécurité applicatif classique ?
Non, il le complète. Un audit applicatif couvre le réseau, l'authentification, le code ; le pentest IA couvre la couche de raisonnement du modèle, que l'audit classique ne teste pas.
Comment le pentest IA s'articule-t-il avec l'article 15 de l'EU AI Act ?
L'article 15 exige que les systèmes à haut risque soient résilients face aux erreurs et aux manipulations. Un rapport de pentest IA fournit la preuve technique et datée que le système a été soumis à des tests d'injection et de résistance avant sa mise en service.
Fonds documentaire & filiation méthodologique
Ce travail de clarification méthodologique s'inscrit dans la continuité de deux corpus de recherche consacrés à la mesure des garanties formelles, à l'analyse probabiliste des structures et à la vérification des systèmes décisionnels.
Analyse d'algorithmes (AofA)
La rigueur appliquée à l'évaluation des systèmes d'IA hérite des méthodes développées dans le cadre des travaux sur l'Analysis of Algorithms (AofA), qui étudie le comportement des algorithmes, la distribution des structures de données et la formalisation des garanties de performance.
L'apport central de cette école tient dans la séparation stricte entre performance en cas moyen et performance en pire cas — la distinction illustrée en tête de page. Un système affichant une excellente précision moyenne peut présenter des comportements inacceptables dans la queue de distribution. Appliqué à l'IA, ce principe interdit d'énoncer une métrique de performance sans en expliciter les conditions de mesure et le domaine de validité.
Raisonnement stratégique & vérification
Le second pilier s'appuie sur les travaux issus du Strategic Reasoning, consacrés à la logique formelle, à la théorie des jeux et à la vérification de systèmes multi-agents.
À mesure que les architectures évoluent vers des agents autonomes chaînés — appels d'outils, exécution de requêtes, médiation automatique — la performance globale ne se déduit plus de l'addition des performances de chaque composant pris isolément. Ce champ fournit le cadre pour modéliser les interactions entre agents et vérifier l'absence de blocage logique dans des séquences décisionnelles complexes.
Wasa Confidence est une initiative documentaire indépendante consacrée à la publication de cadres méthodologiques sur l'évaluation, le pentest IA, la vérification et l'audit de factualité des systèmes d'intelligence artificielle. Ce site n'édite aucun logiciel, ne réalise pas de classement commercial de fournisseurs et ne commercialise aucune prestation d'intermédiation.