Qu'est-ce que Hallucination ?
Une hallucination survient lorsqu'un modèle d'IA produit des informations qui paraissent fluides et convaincantes mais sont fausses ou sans source.
Comment ça fonctionne ?
Les modèles de langage fonctionnent en produisant un texte probable, et non par un mécanisme qui vérifie la vérité. Ils peuvent donc produire une réponse fluide même sur un sujet qu'ils ne connaissent pas. Le risque augmente en cas de contexte manquant, de questions vagues et de sujets absents des données d'entraînement.
Où est-ce utilisé ?
- L'hallucination n'est pas un cas d'usage mais un risque. Elle est particulièrement critique dans des domaines comme le droit, la finance, la santé et les engagements envers les clients.
Points d'attention
- Pour réduire le risque, les réponses doivent être fondées sur des sources et les citer (RAG (Retrieval-Augmented Generation)).
- Les instructions et les tests doivent être conçus pour que le modèle dise quand il ne sait pas.
- Les productions critiques doivent passer par une validation humaine.
- Le risque ne peut pas être éliminé ; des tests d'évaluation réguliers sont nécessaires.
Que fait Huaris AI à ce sujet ?
Huaris AI fait de la citation des sources, des jeux d'évaluation et des étapes de validation humaine une partie de la solution, et indique clairement que le risque ne peut pas être éliminé.
Travaillons ensemble
Laissez-nous écouter vos processus et vos objectifs, et évaluons ensemble où l'IA peut apporter de la valeur.
Envoyer un e-mail