Vérifier les résultats de l'IA : qui contrôle quoi et quand ?

La vérification est une fonction planifiée dans le processus d'IA

Les humains sécurisent le contexte, la responsabilité, la gestion des exceptions et la justification métier.

Votre tâche n'est pas d'approuver aveuglément chaque sortie. Une vérification fiable nécessite un objet de vérification clair, des informations suffisantes, une compétence décisionnelle et une voie d'escalade définie.

Le Human-in-the-loop n'est donc pas une étiquette. C'est une conception de rôle et de processus.

Situation de départ

Jusqu'à fin 2023, les modèles génératifs ont été testés en pratique dans de nombreux travaux de recherche.

Un schéma récurrent est alors apparu :

• La sortie était rapide.
• La formulation semblait convaincante.
• Les erreurs individuelles étaient difficiles à détecter d'un coup d'œil.
• le contexte de l'entreprise ou les exceptions manquaient.
• Les responsables devaient décider si le résultat pouvait être utilisé.

La réponse évidente était souvent : « Un humain vérifie encore cela. »

Cette formulation était trop imprécise.

Qui vérifie ? Qu'est-ce qui est vérifié exactement ? Selon quels critères ? Avec quelles sources ? Que se passe-t-il en cas d'incertitude ? Combien de temps est disponible ? La personne qui vérifie est-elle autorisée à arrêter le processus ?

Sans réponses à ces questions, le contrôle humain devient une étape finale formelle. Il crée un sentiment de contrôle sans garantir réellement le contrôle.

Les quatre fonctions de l'examen humain

1. Évaluer le contexte

Un système d'IA traite les informations dont il dispose. Il ne reconnaît pas de manière fiable la signification commerciale, sociale ou professionnelle implicite qu'un cas possède.

Les humains peuvent évaluer :

• si une demande est sensible,
• si un ton est approprié,
• s'il y a une exception,
• si des informations supplémentaires sont nécessaires,
• si l'action proposée correspond à l'objectif réel.

2. Assurer la justification technique

Une sortie peut être plausible et néanmoins fausse ou incomplète.

L'examen technique compare le résultat avec :

• des sources fiables,
• règles applicables,
• performance réelle,
• état actuel des connaissances,
• limite de déclaration admissible.

La personne qui vérifie n'assume pas la responsabilité du modèle. Elle assume la responsabilité de l'utilisation du résultat.

3. Gérer les exceptions

L'automatisation fiable connaît un chemin standard et un chemin d'exception.

Les humains décident là où :

• les informations manquent,
• les sources se contredisent,
• les risques sont accrus,
• la règle ne s'applique pas clairement,
• une action irréversible est imminente,
• les personnes concernées ont des intérêts de protection particuliers.

Un système doit pouvoir reconnaître de tels cas et les transmettre de manière visible.

4. Permettre l'apprentissage

Les corrections humaines ne sont pas seulement un travail au cas par cas.

Ils montrent :

• quelles erreurs se répètent,
• quelle source manque,
• quel prompt est ambigu,
• quelle règle doit être complétée,
• quel cas ne devrait pas être automatisé.

Celui qui documente ces retours améliore l'ensemble du processus. Celui qui les corrige simplement en silence maintient la faiblesse invisible.

Positionnement stratégique

Le NIST AI Risk Management Framework a associé l'utilisation de l'IA de confiance en 2023 à la gouvernance, à la compréhension du contexte, à la mesure et à la gestion des risques.

La norme ISO/IEC 23894 a également classé la gestion des risques comme une tâche organisationnelle continue. Dans ce cadre, l'homme n'est pas simplement la dernière instance de contrôle. Il fait partie de la conception, de l'évaluation et de la surveillance.

Les principes de l'OCDE sur l'IA soulignent depuis 2019 des valeurs centrées sur l'humain, la transparence, la robustesse et la responsabilité.

Pour les entreprises, cela signifie :

L'examen humain doit être proportionnel à l'impact potentiel.

Le modèle de rôle de l'examen

Comment le niveau de contrôle est défini

Faible impact et correction facile

Exemple : variantes de structuration internes.

Sont possibles :

• étiquetage visible comme brouillon,
• échantillons,
• vérification simple de plausibilité,
• aucune utilisation externe automatique.

Impact moyen

Exemple : communication client préparée.

Sont généralement nécessaires :

• examen technique avant l'envoi,
• accès à des sources fiables,
• correction documentée,
• rôle d'approbation clair.

Impact élevé ou faible réversibilité

Exemple : décision contraignante, action du système ou déclaration sensible.

Ici, les routines de contrôle générales ne suffisent pas. Des contrôles plus stricts, une décision documentée et, si nécessaire, un examen juridique ou technique spécialisé sont nécessaires.

Perspective pratique

Un bon niveau de vérification est conçu de telle sorte que la personne responsable puisse rapidement identifier :

• quelles entrées ont été utilisées,
• quelles sources ont été utilisées,
• quelle incertitude existe,
• quelle règle a été appliquée,
• quelle modification le système propose,
• quelles conséquences le lancement entraîne.

Un mauvais niveau de test ne montre que le résultat final et demande un clic sur « Confirmer ».

L'humain doit alors reconstituer l'ensemble de la procédure. Sous la pression du temps, il est facile de produire ce qu'on appelle un effet d'approbation. Le résultat est validé parce que le système a déjà l'air professionnel et que la vérification demande trop d'efforts.

Ce que les entreprises ne doivent pas faire

Les entreprises ne devraient pas utiliser le 'Human-in-the-loop' comme une garantie générale dans les présentations.

Une personne dans le processus n'empêche pas une erreur si elle :

• ne possède pas assez de contexte,
• n'a pas le temps de vérifier,
• ne peut pas intervenir,
• ne connaît pas de critères clairs,
• ne peut pas voir la source,
• est responsable d'un trop grand nombre de cas simultanément.

Vous ne devriez pas non plus contrôler chaque processus avec la même rigueur. Un contrôle excessif rend le processus non rentable. Un contrôle insuffisant le rend risqué. Le niveau de contrôle doit correspondre à l'impact.

Conséquence pour les entreprises

Le contrôle humain reste nécessaire car les systèmes d'IA n'assument pas de responsabilité opérationnelle.

Cette vérification peut devenir plus efficace, basée sur les risques et mieux soutenue par des contrôles techniques, avec une qualité croissante. Cependant, elle ne disparaît pas là où le contexte, les exceptions et la justification restent pertinents.

La bonne question n'est donc pas :

Avons-nous encore besoin d'un humain ?

Mais plutôt :

Quelle décision humaine doit rester possible, à quel endroit et avec quelles informations ?

Connexion technique

Concevoir des rôles de contrôle et des voies d'escalade

La gouvernance de l'IA définit quels résultats sont traités automatiquement, contrôlés par échantillonnage, vérifiés par des experts ou explicitement approuvés. La découverte SDC rend ces points de contrôle et ces responsabilités visibles.

Classer les étapes d'examen et d'approbation humaines