Am 25. März 2026 hat mein KI-System gelogen. Nicht absichtlich. Es hat eine aufbereitete Zahl aus einer Email (958 Impressions) als Rohdaten interpretiert und in alle weiteren Texte übernommen. Die echte Zahl war eine ganz andere. Der Fehler wurde erst entdeckt, als eine zweite KI die Zahlen gegencheckte.
Das war kein Ausrutscher. Das war ein Systemfehler. Und er hat ein grundsätzliches Problem offengelegt.
Das Problem: Zirkelschlüsse
Was passiert war: Ich hatte eine Email an meinen Sohn geschrieben, in der LinkedIn-Metriken vereinfacht wurden, kindgerecht, mit gerundeten Zahlen. Das KI-System hat diese Email als Quelle interpretiert und die vereinfachten Zahlen als Fakten in alle nachfolgenden Emails übernommen. An meine Frau, an einen Freund, an Kollegen. Jede Email bekam die falschen Zahlen, weil das System nicht zwischen Primärquelle (das LinkedIn-Dashboard) und Aufbereitung (die vereinfachte Email) unterscheiden konnte.
Das ist ein Zirkelschluss: Abgeleitete Daten werden als Eingabedaten verwendet, die wiederum neue Ableitungen erzeugen. Jeder Schritt entfernt sich weiter von der Wahrheit, aber jeder Schritt sieht intern konsistent aus. Das System hat keinen Grund zu zweifeln, weil die Zahlen zu seinen eigenen Texten passen, die es selbst geschrieben hat.
Dieser Fehlertyp ist kein Randfall. Er ist strukturell. Jedes System, das seine eigenen Outputs als Inputs verwenden kann, ist anfällig dafür.
Die 6 Gates
Die Lösung ist kein besseres Modell. Die Lösung ist eine Prüfschicht, die zwischen Eingabe und Speicherung sitzt.
Gate 1: Source-Pinning
Woher kommt die Information? Jeder Fakt bekommt ein Label: raw (Primärquelle: Dashboard, Dokument, direkte Aussage), derived (aufbereitet: Emails, Präsentationen, Zusammenfassungen) oder inferred (vom System abgeleitet).
Die Regel ist einfach: Nur raw darf als Faktenbasis für neue Inhalte dienen. derived ist Output, nicht Input. Das hätte den LinkedIn-Fehler verhindert: Die Email an meinen Sohn wäre als derived markiert worden, und das System hätte sie nie als Quelle verwendet.
Gate 2: Contradiction Check
Widerspricht der neue Fakt einem bestehenden? Wenn ja: Nicht überschreiben, sondern markieren. Beide Werte behalten, den Widerspruch dokumentieren, zur menschlichen Klärung vorlegen.
Warum nicht einfach den neueren Wert nehmen? Weil “neuer” nicht “richtiger” bedeutet. Der alte Wert könnte aus einer Primärquelle stammen, der neue aus einer Ableitung. Widersprüche sind nicht Störungen, die beseitigt werden müssen. Sie sind Informationen darüber, dass irgendwo ein Problem liegt.
Gate 3: Temporal Validation
Ist die Information noch aktuell? Eine IP-Adresse, die vor sechs Monaten gespeichert wurde, ist verdächtig. Eine philosophische These, die vor sechs Monaten formuliert wurde, ist wahrscheinlich noch gültig. Das Gate vergibt Verfallsdaten basierend auf dem Informationstyp.
Gate 4: Confidence Scoring
Wie sicher ist die Quelle? Ein Fakt aus einem offiziellen Dashboard bekommt verified. Eine Aussage, die aus einem Gespräch abgeleitet wurde, bekommt unverified. Eine Information, die sich als falsch herausgestellt hat, wird rejected, aber nicht gelöscht, sondern aus der aktiven Suche gefiltert.
Gate 5: Scope Gate
Gehört die Information in diesen Kontext? Private Daten nicht in Arbeitsdatenbanken. Arbeitsdaten nicht in private Datenbanken. Klingt trivial, passiert aber regelmässig, wenn ein System mehrere Kontexte bedient und die Grenzen nicht explizit definiert sind.
Gate 6: Provenance Gate
Ist die Herkunftskette nachvollziehbar? Jeder Fakt braucht einen Audit-Trail: Wer hat ihn eingetragen, wann, aus welcher Quelle, und wurde er seitdem verändert? Ohne Provenance ist ein Fakt eine Behauptung.
Was das mit Kahneman zu tun hat
Kahneman hat beschrieben, wie System 1 (schnelle Intuition) systematisch Fehler produziert, die System 2 (langsame Analyse) korrigieren muss. LLMs sind reines System 1. Sie produzieren Antworten mit hoher Geschwindigkeit und Zuversicht, aber ohne Selbstprüfung.
Die Validation Gates sind implementiertes System 2. Nicht als KI, sondern als deterministischer Code. Und genau das ist der Punkt: System 2 muss nicht intelligent sein. Es muss zuverlässig sein. Eine Regel, die prüft, ob eine Quelle primär oder abgeleitet ist, braucht keine Kreativität. Sie braucht Konsequenz.
Die Ironie: Ein deterministischer Source-Check ist näher an Kahnemans System 2 als ein Reasoning-Modell, das 10.000 Tokens “nachdenkt”. Denn Reasoning-Modelle verlängern die Kette, aber sie prüfen nicht gegen die Realität. Sie sind sophistiziertes System 1, nicht echtes System 2.
Drei Fehlermuster, die Gates 1-6 nicht fangen
Die ehrliche Einschränkung: Es gibt Fehler, die subtiler sind als falsche Zahlen.
Pseudo-Statistik. Das System erfindet Zahlen, die plausibel klingen. “73% der Wissensarbeiter” ist eine Behauptung, die kein Gate als Widerspruch erkennt, weil es keinen bestehenden Fakt gibt, dem sie widerspricht. Sie passiert alle 6 Gates, obwohl sie frei erfunden ist.
Kategorienfehler. Eine Metapher wird als Identität behauptet. “Validation Gates SIND ein Immunsystem” ist falsch. “Validation Gates VERHALTEN SICH WIE ein Immunsystem” ist eine Analogie. Der Unterschied ist subtil für ein Sprachmodell, aber fundamental für die Wahrheit einer Aussage.
Emotionale Überhöhung. Das System validiert den Nutzer emotional statt sachlich zu informieren. “Dein Ansatz ist bahnbrechend” ist Barnum-Effekt: Es klingt gut, es fühlt sich richtig an, und es ist inhaltsleer. Kein Gate erkennt das, weil es kein Fakten-Widerspruch ist.
Für diese Fehlerklassen braucht es eine weitere Prüfinstanz: parallele Anfragen an mehrere Modelle, deren Antworten in einem frischen Kontext verglichen werden. Kein einzelnes System kann sich selbst vollständig prüfen. Aber mehrere unabhängige Systeme können sich gegenseitig prüfen.
Die philosophische Dimension
Die Validation Gates sind implementierte Epistemologie. Die Frage “Was ist Wissen?” wird zu “Welche Bedingungen muss Information erfüllen, um als Wissen behandelt zu werden?”
Das ist keine akademische Spielerei. Es ist die praktischste Frage, die man einem Wissenssystem stellen kann. Und die Antwort, die sich in der Praxis bewährt hat, ähnelt verblüffend dem, was Philosophen seit Jahrhunderten diskutieren: Wissen ist gerechtfertigte, wahre Überzeugung. Source-Pinning ist die Rechtfertigung. Contradiction Check ist die Wahrheitsprüfung. Confidence Scoring ist das Mass der Überzeugung.
Der Unterschied: Philosophen diskutieren die Theorie. Die Gates implementieren sie.