Was ist Halluzination?
Eine Halluzination liegt vor, wenn ein KI-Modell Informationen erzeugt, die flüssig und überzeugend wirken, aber falsch sind oder keine Quelle haben.
Wie funktioniert es?
Sprachmodelle arbeiten, indem sie wahrscheinlichen Text erzeugen, nicht durch einen Mechanismus, der die Wahrheit prüft. Deshalb können sie auch zu einem Thema, das sie nicht kennen, eine flüssige Antwort erzeugen. Das Risiko wächst bei fehlendem Kontext, unklaren Fragen und Themen, die in den Trainingsdaten fehlen.
Wo wird es eingesetzt?
- Halluzination ist kein Anwendungsfall, sondern ein Risiko. Besonders kritisch ist sie in Bereichen wie Recht, Finanzen, Gesundheitswesen und Zusagen an Kunden.
Zu beachten
- Um das Risiko zu verringern, sollten Antworten in Quellen verankert sein und diese nennen (RAG (Retrieval-Augmented Generation)).
- Anweisungen und Tests sollten so gestaltet werden, dass das Modell sagt, wenn es etwas nicht weiß.
- Kritische Ergebnisse sollten eine menschliche Freigabe durchlaufen.
- Das Risiko lässt sich nicht beseitigen; regelmäßige Evaluationstests sind nötig.
Was tut Huaris AI dazu?
Huaris AI macht Quellenangaben, Evaluationssets und Schritte der menschlichen Freigabe zum Teil der Lösung und sagt klar, dass sich das Risiko nicht beseitigen lässt.
Verwandte Begriffe
Lassen Sie uns zusammenarbeiten
Lassen Sie uns Ihre Prozesse und Ziele kennenlernen und gemeinsam bewerten, wo KI einen Mehrwert schaffen kann.
E-Mail senden