Sprachmodelle erzeugen manchmal Aussagen, die plausibel klingen und falsch sind. Ganz verschwinden werden sie nicht, aber Sie können ihre Häufigkeit senken und ihre Folgen begrenzen.
Maßnahmen, die sich bewährt haben:
- Quellen mitgeben: Mit RAG antwortet das Modell auf Basis Ihrer Dokumente und nennt Fundstellen.
- Antwortpflicht lockern: Die Anweisung erlaubt ausdrücklich „Dazu liegen keine Informationen vor“.
- Format begrenzen: Strukturierte Ausgaben mit festen Feldern lassen weniger Raum für Erfundenes.
- Prüfschritt: Ein zweiter Durchlauf gleicht Behauptungen mit den Quellen ab.
- Deterministische Daten: Zahlen, Preise und Termine kommen aus Systemen, nicht aus dem Modell.
Zur Messung brauchen Sie einen Prüfsatz mit Fragen, deren richtige Antwort Sie kennen, darunter Fragen ohne Antwort in den Quellen. Bewerten Sie, wie oft das Modell korrekt antwortet, korrekt ablehnt oder Falsches behauptet. Wiederholen Sie die Messung nach jeder Änderung an Anweisung, Modell oder Wissensbasis.
In Bereichen mit hohem Risiko, etwa Gesundheit oder Recht, gilt: Das Ergebnis ist ein Entwurf. Fachpersonal prüft und verantwortet es.
