Was sind KI-Halluzinationen?

Was eine KI-Halluzination genau ist

Eine Halluzination ist eine Antwort, die ein KI-Modell überzeugend formuliert, obwohl sie sachlich falsch oder frei erfunden ist. Das kann eine erfundene Zahl sein, ein falsch zitierter Gesetzesartikel — oder, besonders heikel, eine Quelle, die es schlicht nie gegeben hat. Das Tückische ist nicht der Fehler an sich, sondern der Ton: Die KI klingt bei einer Erfindung genauso souverän wie bei einer korrekten Aussage.

Genau das macht Halluzinationen zur wichtigsten Vertrauensfrage, bevor ein Unternehmen KI produktiv einsetzt. Eine offensichtlich kaputte Antwort fällt sofort auf. Eine plausibel klingende Falschaussage rutscht durch — in eine Kundenmail, in eine Offerte, in einen Bericht. Die ehrliche Haltung von FrontierX ist deshalb: KI kann überzeugend Falsches erzeugen. Wer das verschweigt, baut auf Sand. Wer es ernst nimmt, baut Kontrolle ein.

Die Faustregel: Das Problem ist nicht, dass eine KI sich irren kann — das können Menschen auch. Das Problem ist eine Erfindung, die niemand prüft, bevor sie wirksam wird.

Warum Sprachmodelle überhaupt etwas erfinden

Ein Sprachmodell schlägt nichts in einer Datenbank nach. Es sagt das wahrscheinlichste nächste Wort voraus — auf Basis der Muster, die es während des Trainings gesehen hat. Solange die Frage gut zum Gelernten passt, ist diese Vorhersage erstaunlich zuverlässig. Fehlt aber das konkrete Wissen, hört das Modell nicht auf, sondern füllt die Lücke mit etwas, das plausibel klingt — eine glatt formulierte Konstruktion statt eines ehrlichen «das weiss ich nicht».

Das ist kein Defekt eines einzelnen Produkts, sondern eine Eigenschaft der Technologie selbst. Das OpenAI-Paper «Why Language Models Hallucinate» (2025) zeigt, warum: Sprachmodelle werden im Training und in den üblichen Tests fürs Raten belohnt statt fürs ehrliche «ich weiss es nicht» — vollständig vermeiden lassen sich Halluzinationen daher nicht, nur eindämmen. Diese Einordnung ist wichtig: Niemand kann seriös eine fehlerfreie KI versprechen. Die richtige Frage ist deshalb nicht «Wie schalte ich Halluzinationen ab?», sondern «Wie baue ich einen Ablauf, der eine Erfindung abfängt, bevor sie Schaden anrichtet?».

Wie sichtbar das Problem geworden ist

Dass das kein theoretisches Risiko ist, zeigt ein konkretes Beispiel aus der Wissenschaft. Laut einer Auswertung in The Lancet (Mai 2026) (DOI 10.1016/S0140-6736(26)00603-3) wurden in 2’810 biomedizinischen Arbeiten 4’046 erfundene Literaturverweise gefunden — also Quellenangaben zu Studien, die es nie gegeben hat. Noch deutlicher ist der Trend: Dieselbe Auswertung zeigt, dass die Rate erfundener Zitate von rund 1 pro 2’828 Arbeiten im Jahr 2023 auf 1 pro 277 Anfang 2026 stieg.

Diese Zahlen stammen aus der Forschung, nicht aus dem KMU-Alltag — aber das Muster ist übertragbar. Genau dort, wo eine KI eine Quelle, einen Beleg oder eine Referenz liefern soll, ist die Versuchung zur Erfindung am grössten. Für ein Schweizer KMU heisst das: Eine KI, die unbeaufsichtigt Belege zitiert, Gesetzesartikel nennt oder Kundenangaben «aus dem Gedächtnis» wiedergibt, ist ohne Absicherung ein Risiko. Mit Absicherung wird sie zum verlässlichen Werkzeug.

Die Lösung: Kontrolle statt blindes Vertrauen

Halluzinationen verschwinden nicht auf Knopfdruck. Aber man kann einen Ablauf so bauen, dass eine Erfindung kaum eine Chance hat, unbemerkt wirksam zu werden. FrontierX setzt dafür auf fünf Schichten, die zusammen greifen:

1. RAG mit Quellenangabe. Statt frei aus dem Gedächtnis zu antworten, sucht der Agent zuerst in deinen eigenen Dokumenten — Handbüchern, Verträgen, Wissensdatenbank — und antwortet aus dem, was er dort tatsächlich findet, samt Verweis auf die Fundstelle. So wird jede Aussage überprüfbar. Wie das funktioniert, steht unter Was ist RAG?.
2. Mensch in der Schleife. Alles mit Wirkung nach aussen — eine Mail, eine Buchung, eine Freigabe über einen Menschen — wird einem Menschen zur Kontrolle vorgelegt, bevor es wirksam wird. Wo genau dieser Kontrollpunkt sitzt, erklärt Mensch in der Schleife.
3. Freigabe vor Wirksamkeit. Der Agent bereitet vor, der Mensch entscheidet. Ein erfundener Satz im Entwurf ist harmlos, solange er die Firma nie verlässt, ohne dass ihn jemand gesehen hat.
4. Aufgaben mit prüfbarem Ergebnis. Wir schneiden Aufgaben so zu, dass ihr Resultat sich gegen eine harte Wahrheit prüfen lässt — eine Summe, die stimmen muss, ein Feld, das mit dem Beleg übereinstimmt, ein Datum, das im Dokument steht. Was sich prüfen lässt, lässt sich absichern.
5. Klare Grenzen. Der Agent weiss, was er darf und was nicht. Was er nicht sicher belegen kann, legt er vor oder fragt nach, statt es zu erfinden. «Ich weiss es nicht» ist eine erlaubte und erwünschte Antwort.

Kein einzelner dieser Punkte macht eine KI perfekt. Zusammen ergeben sie einen Ablauf, in dem ein Fehler aufgefangen wird, bevor er teuer wird.

Mit Absicherung gegen ohne — der Unterschied im Alltag

Derselbe Sprachmodell-Kern verhält sich völlig anders, je nachdem, ob er roh oder eingebettet in einen kontrollierten Ablauf arbeitet.

Die ehrliche Einordnung: Auch die rechte Spalte ist nicht garantiert fehlerfrei — eine solche Garantie wäre eine leere Behauptung. Aber sie verwandelt ein unkontrollierbares Risiko in einen beherrschbaren Prozess. Das ist der Unterschied zwischen einem Tool, dem man blind vertrauen muss, und einer Lösung, die man verantworten kann.

Was das für dein Unternehmen heisst

Du musst kein KI-Experte werden, um Halluzinationen in den Griff zu bekommen — du musst nur darauf bestehen, dass die Lösung von Anfang an mit Kontrolle gebaut wird. Drei Fragen helfen dabei, jeden Anbieter und jede Lösung einzuordnen:

• Woher nimmt der Agent sein Wissen? Aus meinen Dokumenten mit Quellenangabe — oder frei aus dem Modell?
• Wer gibt frei, bevor etwas wirksam wird? Gibt es einen klaren menschlichen Kontrollpunkt an der richtigen Stelle?
• Wie wird ein Fehler bemerkt? Lässt sich das Ergebnis gegen eine harte Wahrheit prüfen, und ist jeder Schritt nachvollziehbar?

Wer auf diese drei Fragen eine saubere Antwort hat, hat das Halluzinations-Risiko nicht abgeschafft — aber so weit eingedämmt, dass produktiver Einsatz verantwortbar wird. Genau hier setzt FrontierX an: Wir bauen den einen Vorgang, der morgen läuft — klein gestartet, mit Mensch und Freigabe in der Schleife, messbar und prüfbar.

Wenn du wissen willst, wo in deinem Betrieb sich KI sicher einsetzen lässt und wo der Mensch zwingend dabeibleiben muss, machen wir eine kurze, unverbindliche Auslegeordnung — ehrlich, ohne Verkaufsdruck.