La qualité linguistique ne remplace pas une connaissance d'entreprise solide.
La qualité spécifique à l'entreprise ne résulte pas uniquement d'un modèle performant ou d'une invite soignée.
Elle a besoin de sources de connaissances vérifiées, de termes clairs, d'exemples appropriés, de règles techniques, d'autorisations, de mises à jour et d'approbations. Sans cette base, l'IA générative produit souvent des affirmations moyennes plausibles. Elles sonnent professionnelles, mais distinguent peu l'entreprise et peuvent être incorrectes sur le plan technique ou commercial.
Situation de départ
En avril 2023, la discussion avait changé en quelques mois.
ChatGPT avait ouvert un large accès aux modèles linguistiques génératifs. En mars 2023, OpenAI a présenté GPT-4. Les sorties sont devenues plus performantes, plus structurées et plus convaincantes dans de nombreuses tâches.
Cela a créé une attente évidente :
Si le modèle s'améliore et que l'invite est précise, le résultat deviendra automatiquement spécifique à l'entreprise.
Cette attente a négligé une différence fondamentale.
Un modèle peut traiter des modèles linguistiques et de connaissances généraux. Il ne connaît cependant pas automatiquement :
- la définition actuelle des prestations d'une entreprise,
- termes techniques internes,
- règles de processus contraignantes,
- preuves approuvées,
- délimitations des groupes cibles,
- Exclusions et limites,
- tonalité individuelle,
- valeurs d'expérience confidentielles,
- responsabilités applicables,
- la source faisant autorité.
Si ces informations manquent, le modèle comble les lacunes avec des modèles généraux. Le résultat peut être linguistiquement cohérent et pourtant interchangeable.
Ce qui se cache derrière le problème
Les connaissances du modèle ne sont pas les connaissances de l'entreprise
Les modèles linguistiques sont entraînés sur de grandes quantités de données existantes. Les connaissances qu'ils contiennent ne constituent ni une documentation d'entreprise contrôlée ni une garantie d'actualité et d'exactitude.
Pour une explication générale, cela peut suffire. Pour une déclaration contraignante concernant une entreprise spécifique, cela ne suffit pas.
Exemple :
Un modèle peut décrire ce qu'une stratégie numérique comprend habituellement. Il ne sait pas automatiquement ce que goeke.digital entend par là, quels groupes cibles sont visés, quelle méthode est utilisée et quels termes sont délibérément évités.
Un bon langage masque un manque de fondement
Les textes bruts faibles sont rapidement repérables. Les textes linguistiquement convaincants sont plus risqués si leur base factuelle reste floue.
Un texte généré peut :
- compléter une prestation inappropriée,
- décrire un groupe cible trop largement,
- prétendre un avantage non prouvé,
- utiliser un terme technique différemment de l'entreprise,
- reprendre des informations obsolètes,
- mélanger plusieurs sources de manière contradictoire.
La qualité linguistique rend difficile la détection de telles erreurs, car le texte semble d'abord complet et plausible.
Les invites n'ont qu'un contexte limité
Un prompt peut définir l'objectif, le format, le ton et des faits individuels. Cependant, il devient rapidement confus si chaque détail pertinent, chaque exception et chaque preuve doit être intégré à plusieurs reprises.
De plus, un problème de maintenance survient :
- Quelle version du prompt est actuelle ?
- Qui est autorisé à le modifier ?
- Quelle déclaration a été reprise de quelle source ?
- Quelle règle s'applique à quel cas d'utilisation ?
- Comment les mises à jour sont-elles transférées à tous les prompts ?
Une invite est une instruction. Ce n'est pas une architecture de connaissances soignée.
Des documents épars ne constituent pas une base de connaissances fiable
Les entreprises possèdent souvent de nombreux documents :
- textes de sites web,
- Présentations,
- Offres,
- descriptions de processus,
- Documents de formation,
- e-mails,
- FAQ,
- notes internes,
- Contrats,
- Informations produit.
La quantité de ces fichiers ne prouve pas qu'un système d'IA puisse en déduire une réponse correcte.
Les documents peuvent :
- obsolète,
- utiliser le même terme différemment,
- contenir des déclarations contradictoires,
- ne s'appliquent qu'à un contexte interne,
- avoir une paternité floue,
- contenir des informations sensibles,
- ne pas avoir de règle de priorité.
Avant que les connaissances ne soient techniquement récupérées, il faut clarifier sur le plan métier quelle source fait autorité pour quoi.
Positionnement stratégique
La recherche sur la génération augmentée par récupération avait déjà décrit une approche importante en 2020 : un modèle génératif est connecté à un système de récupération externe. Cela lui permet d'utiliser des connaissances supplémentaires à partir d'un corpus de documents.
Cette approche était stratégiquement pertinente en avril 2023 car elle abordait deux limites des modèles purement paramétriques :
- Le savoir ne peut pas être maintenu de manière arbitrairement actuelle et précise dans le modèle lui-même.
- L'origine et la mise à jour des informations externes restent des tâches ouvertes.
Cependant, RAG ne résolvait pas ces tâches automatiquement.
Un système peut récupérer les mauvais documents. Il peut ne pas trouver de sections importantes, privilégier des sources obsolètes ou résumer mal un texte trouvé. Même une section correctement récupérée peut être inadaptée à la question spécifique.
Par conséquent, une base de connaissances spécifique à l'entreprise doit offrir plus que la simple recherche.
Elle doit définir :
- quel domaine de connaissance est couvert,
- quelles sources sont autorisées,
- quelle source a la priorité,
- quels termes sont contraignants,
- quels exemples l'application doit comprendre,
- quelles règles et limites s'appliquent,
- qui est responsable sur le plan technique,
- quels contenus ne doivent pas être utilisés,
- comment les mises à jour et les conflits sont gérés,
- quels résultats doivent être approuvés par l'homme.
Perspective pratique
En pratique, le travail ne commence pas par une base de données d'entreprise complète.
Un domaine de connaissances clairement délimité est plus judicieux. Exemples :
- une offre de services concrète,
- un domaine de produit,
- un processus de conseil récurrent,
- une section FAQ définie,
- une bibliothèque thématique spécialisée,
- un onboarding interne,
- un cas de support clairement défini.
Pour ce domaine, les informations existantes sont organisées.
Un constat typique :
- Le site web utilise un terme différent de celui de l'offre.
- Une présentation contient un niveau de performance plus ancien.
- Un texte interne explique une exception qui ne doit pas s'appliquer publiquement.
- Un exemple est utile, mais non approuvé pour publication.
- Un expert possède les connaissances actuelles, mais aucune source documentée.
- Deux documents se contredisent et personne n'a défini de priorité.
Ce travail semble initialement moins spectaculaire que la sélection d'un modèle. Il détermine cependant si l'application ultérieure peut représenter correctement l'entreprise.
Le modèle système de la base de connaissances de l'IA
Sept éléments constitutifs d'une base de connaissances fiable
1. Sources contraignantes
Tous les documents n'ont pas le même statut.
Une classification simple peut distinguer :
- contraignant,
- en complément,
- historique,
- en cours de vérification,
- contradictoire,
- bloqué.
Le statut doit être reconnaissable par les humains et les systèmes techniques.
2. Standard de terminologie
les prestations, les groupes cibles, les produits et les processus nécessitent des désignations uniques.
Les synonymes peuvent être utiles pour la recherche et la communication. Cependant, il doit être clair en interne quel terme a quelle signification.
3. Règles métier
Une application d'IA a besoin de plus que des faits.
Elle doit savoir :
- quelle affirmation est valable sous quelle condition,
- quelle est l'exception,
- quelle conclusion ne doit pas être tirée,
- quelles informations peuvent manquer,
- quand elle ne doit pas répondre.
Les règles doivent être formulées de manière aussi vérifiable que possible.
4. Exemples et contre-exemples
Les exemples montrent comment les connaissances sont appliquées.
Les contre-exemples sont tout aussi importants. Ils marquent :
- formulations inappropriées,
- cas inappropriés,
- interprétations erronées typiques,
- limites de performance,
- les escalades nécessaires.
5. Autorisations
Toutes les connaissances ne peuvent pas être utilisées dans toutes les applications.
Il doit être clarifié :
- quelles personnes ont accès,
- quels systèmes sont autorisés à récupérer le contenu,
- quelles données sont transférées à des services externes,
- quels contenus restent confidentiels,
- quels résultats sont enregistrés.
6. Mise à jour et règle de conflit
Le savoir évolue.
Chaque information centrale nécessite :
- Responsabilité,
- intervalle de vérification ou motif de modification,
- Version,
- Source avec priorité,
- Règle pour les contradictions,
- remplacement documenté des anciens contenus.
7. Approbation technique
La base de connaissances peut améliorer la qualité des résultats. Elle n'annule pas la responsabilité professionnelle.
Selon l'application, les sorties :
- entièrement vérifié,
- contrôlé par échantillonnage,
- utilisé uniquement en interne comme brouillon,
- escalade en cas d'incertitude,
- traités automatiquement selon des règles claires.
La qualité des connaissances doit être évaluée en fonction de l'application
Une base de connaissances n'est pas abstraitement « bonne » ou « mauvaise ». Sa qualité dépend de la tâche concrète.
Pour une orientation interne, des sources courtes et clairement marquées peuvent suffire. Pour une réponse professionnelle publique, des preuves solides, des approbations actuelles et des limites de déclaration claires sont nécessaires. Pour une action système automatisée, des règles structurées et des conditions d'arrêt sûres doivent en outre être présentes.
Cette distinction évite deux erreurs : une perfection inutile pour des tâches de conception simples et une négligence trop grande pour des applications lourdes de conséquences.
Quel rôle le prompt continue de jouer
Une bonne base de connaissances ne rend pas les prompts superflus.
Le prompt décrit :
- la tâche concrète,
- le destinataire souhaité,
- le format,
- le contexte actuel,
- les critères d'évaluation applicables.
La base de connaissances fournit en revanche :
- faits contraignants,
- Termes,
- règles,
- Exemples,
- limites,
- Sources.
Les deux niveaux doivent être gérés séparément. Sinon, les règles de l'entreprise sont copiées dans des instructions individuelles et évoluent séparément.
Ce que les entreprises ne doivent pas faire
Les entreprises ne devraient pas charger dans un système d'appel toutes les fichiers existantes sans vérification.
Cela ne résout pas les contradictions, mais les rend techniquement disponibles.
N'essayez pas non plus de contrôler chaque réponse uniquement par une invite système de plus en plus longue. Une telle construction sera difficile à maintenir et restera limitée en cas de sources manquantes.
Il est également faux de supposer qu'une citation de source prouve l'exactitude de la réponse. Un système peut citer une source et néanmoins l'interpréter de manière incomplète ou erronée.
Enfin, les entreprises ne devraient pas construire de base de connaissances sans clarifier la responsabilité et la maintenance. Un import unique vieillit tout comme toute autre collection de documents.
Conséquence pour les entreprises
La qualité de l'IA spécifique à l'entreprise est une tâche de connaissance et de gouvernance.
Le modèle reste important. Il décide des capacités linguistiques, du traitement du contexte et des possibilités techniques. La différence commerciale réside cependant dans la connexion avec les bonnes connaissances et une utilisation contrôlée.
Une base solide n'améliore pas seulement les résultats de l'IA. Elle renforce également :
- Site Web et communication spécialisée,
- orientation interne,
- Onboarding,
- Service,
- Documentation commerciale,
- capacité de recherche et de réponse,
- Cohérence entre les équipes.
Cela ne fait pas du travail de connaissance un projet secondaire technique. Il devient la base commune de plusieurs systèmes numériques.
Connexion technique
Préparer les connaissances de l'entreprise pour les applications d'IA
Le SDC Knowledge Core organise les sources, les termes, les règles, les exemples, les autorisations et les approbations pour un domaine de connaissances clairement délimité. C'est sur cette base que l'on décide comment les connaissances sont récupérées techniquement et intégrées dans des flux de travail basés sur l'IA.
Construire une base de connaissances IA de manière structurée
Sources et bases techniques (6)
- OpenAI, « GPT-4 Technical Report », mars 2023. Ouvrir la source
- OpenAI, „GPT-4 System Card“, mars 2023. Ouvrir la source
- Patrick Lewis et al., „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks“, 2020. Ouvrir la source
- Kelvin Guu et al., „REALM: Retrieval-Augmented Language Model Pre-Training“, 2020. Ouvrir la source
- National Institute of Standards and Technology, „Artificial Intelligence Risk Management Framework (AI RMF 1.0)“, 2023. Ouvrir la source
- ISO, „ISO 30401:2018. Knowledge management systems“. Ouvrir la source
