Daniel Kahneman unterschied zwei Denksysteme: System 1 (schnell, automatisch, intuitiv, fehleranfällig) und System 2 (langsam, bewusst, analytisch, zuverlässig). Diese Unterscheidung lässt sich präzise auf aktuelle KI-Systeme projizieren. Und sie erklärt, warum diese Systeme gleichzeitig so beeindruckend und so unzuverlässig sind.
System 1: Die brillanteste Intuitionsmaschine, die je gebaut wurde
Ein LLM generiert Text durch next-token prediction. Jedes Token ist eine implizite Entscheidung auf Basis statistischer Muster, die aus Milliarden Texten extrahiert wurden. Keine bewusste Regelanwendung, keine Planung, kein Schlussfolgern, sondern Mustererkennung in hochdimensionalen Räumen.
Das ist funktional identisch mit dem, was Kahneman als “Intuition” beschreibt: schnelle, automatische Urteile, die meist richtig liegen, aber systematische Fehler produzieren.
Und die Liste der Fähigkeiten ist beeindruckend:
- Mustererkennung: LLMs erkennen Zusammenhänge in Texten, die Menschen übersehen. Sie finden die Nadel im Heuhaufen, solange der Heuhaufen aus Text besteht.
- Kontextvervollständigung: Gib einem LLM drei Sätze aus einem Fachgebiet, und es vervollständigt den vierten in einem passenden Register, mit passendem Vokabular, in passender Tiefe.
- Analogiebildung: Die Fähigkeit, Strukturähnlichkeiten zwischen verschiedenen Domänen zu erkennen (“Validation Gates sind für Daten, was ein Immunsystem für einen Organismus ist”), gehört zu den stärksten Leistungen aktueller Modelle.
- Soziale Intuition: LLMs können Ton, Stimmung und soziale Dynamik in Texten lesen und darauf reagieren. Nicht weil sie fühlen, sondern weil sie die statistischen Muster menschlicher Kommunikation internalisiert haben.
- Kreative Assoziation: Ideen kombinieren, die ein Mensch nicht kombiniert hätte, weil sie in unterschiedlichen Fachgebieten liegen, zwischen denen kein einzelner Mensch alle Verbindungen sieht.
All das ist System 1. Schnell, automatisch, meistens richtig. Und genau hier liegt das Problem.
Was System 1 nicht kann
Kahneman hat ein ganzes Buch darüber geschrieben, wie systematisch System 1 irrt. Die gleichen Fehler finden sich in LLMs, nicht zufällig, sondern strukturell:
Kausales Reasoning. System 1 erkennt Korrelationen, nicht Kausalitäten. “Danach” wird zu “deshalb”. LLMs reproduzieren dieses Muster zuverlässig. Sie können erklären, warum A und B zusammenhängen, aber die Erklärung ist eine plausible Geschichte, kein logischer Beweis. Und plausible Geschichten sind das Gefährlichste, was es gibt, weil sie sich richtig anfühlen.
Metakognition. System 1 weiss nicht, was es nicht weiss. Es liefert eine Antwort und hat keine Möglichkeit, deren Qualität einzuschätzen. LLMs sind identisch: Sie produzieren eine Antwort mit der gleichen Zuversicht, ob sie richtig oder falsch ist. Die Konfidenz ist nicht im Output kodiert, weil sie im Prozess nie berechnet wird.
Epistemische Sensibilität. Woher komme ich? Wie sicher bin ich mir? Basiert meine Aussage auf einem Datenpunkt oder auf tausend? System 1 stellt diese Fragen nicht. LLMs auch nicht. Ein Fakt aus einer einzigen fragwürdigen Quelle wird mit der gleichen Selbstverständlichkeit präsentiert wie eine mathematische Identität.
Antizipation. System 1 reagiert. Es antizipiert nicht. Es kann nicht sagen: “Bevor du diese Frage stellst: Du wirst wahrscheinlich auch X wissen wollen.” Dafür bräuchte es ein Modell des Fragenden und ein Modell seiner eigenen Wissenslücken. Beides fehlt.
Die Reasoning-Illusion
Chain-of-Thought-Prompting und Reasoning-Modelle simulieren langsames Denken durch erzwungene Zwischenschritte. Das Modell “zeigt seine Arbeit”. Aber: Mehr Tokens sind nicht automatisch tieferes Denken.
Die Debatte ist aufschlussreich. Ist ein Reasoning-Modell, das 10.000 Tokens “nachdenkt”, wirklich näher an System 2? Oder ist es ein sophistizierteres System 1, das mehr Muster durchläuft, ohne je einen externen Realitätsabgleich durchzuführen?
Kahnemans System 2 hat eine entscheidende Eigenschaft: Es prüft gegen die Realität. Es sagt “Moment, stimmt das wirklich?” und sucht nach Gegenbeispielen. Ein Reasoning-Modell tut das nicht. Es generiert eine längere Kette plausibel klingender Zwischenschritte, aber die Plausibilität kommt aus denselben statistischen Mustern wie die Originalantwort.
Ein deterministischer Code, der eine Aussage gegen eine externe Datenbank prüft, ist näher an Kahnemans System 2 als ein Modell, das seine eigene Kette verlängert. Das klingt kontraintuitiv, aber es ist die logische Konsequenz von Kahnemans Definition.
Die Lücke
Die Lücke zwischen System 1 und echtem System 2 ist nicht “mehr Parameter” oder “besseres Training”. Es ist eine architektonische Lücke. Was fehlt:
Ein persistentes Modell des eigenen Zustands. Das System muss wissen, was es weiss und was nicht. Nicht als Wahrscheinlichkeitsverteilung über Tokens, sondern als explizite Repräsentation.
Externe Validierung. Das System muss seine Outputs gegen etwas Externes prüfen können, Fakten, Quellen, Widersprüche. Nicht durch mehr Nachdenken, sondern durch Nachschauen.
Temporales Bewusstsein. Wann wurde eine Information zuletzt bestätigt? Ist sie noch aktuell? System 1 hat kein Zeitgefühl. System 2 braucht eines.
Genau in diesem Raum operiert der Selbstvektor: Ein kompaktes Selbstmodell, das dem System die Fähigkeit gibt, seine eigene Informationsverarbeitung zu gewichten. Und die Validation Gates implementieren die externe Prüfinstanz, die System 1 fehlt.
Die These ist nicht, dass LLMs schlecht sind. Sie sind die beste Implementierung von System 1, die je gebaut wurde. Die These ist, dass System 1 allein nicht reicht. Und dass die Lösung nicht in grösseren Modellen liegt, sondern in einer Architektur, die System 2 als eigenständige Schicht hinzufügt.