Die Halluzination, die sich selbst zitierte: Eine Lehre aus dem Live-Betrieb meines LLM-Wikis
Ich pflege seit einigen Monaten ein LLM-Wiki — eine Sammlung von Notizen, die ich zusammen mit Claude Code kuratiere: neue Tools, Konzepte, Vergleiche, alles verlinkt und mit sauberer Quellenangabe. Der Workflow ist simpel: Ich gebe eine URL, Claude ruft sie per Web-Fetch ab, fasst zusammen, schreibt die Erkenntnisse in eine Wiki-Seite. Funktioniert seit Monaten zuverlässig — bis zu dem Tag, an dem eine KI-Zusammenfassung eine Tatsachenbehauptung erfand, die es so nirgends gab.
Der Vorfall
Ich liess ein neues Tool namens „graphify" ins Wiki aufnehmen — ein Knowledge-Graph-Tool für Codebases. Erster Schritt: die Landingpage graphify.com per Web-Fetch abrufen und zusammenfassen lassen. Eine der Fragen an das Fetch-Modell: „Wer betreibt diese Seite?"
Die Antwort kam prompt und selbstsicher: „Der Betreiber ist Anthropic."
Das war überraschend. Nichts an dem, was ich über graphify wusste, deutete auf eine Anthropic-Beteiligung hin. Also fragte ich genauer nach — und bekam eine zweite, ausführlichere Antwort, die die erste scheinbar bestätigte, inklusive eines Zitats, das wie ein Seiten-Header aussah: „Anthropic’s official CLI for Claude."
Das war der Moment, in dem bei mir eine Alarmglocke läutete. Diese Formulierung kam mir bekannt vor — verdächtig bekannt.
Die Diagnose
Der Satz „Anthropic’s official CLI for Claude" steht nicht auf graphify.com. Er steht in meinem eigenen Systemprompt — der Instruktion, mit der jede Claude-Code-Session startet und die dem Modell erklärt, was es ist und wofür es da ist.
Das Fetch-Modell hatte zwei völlig unterschiedliche Kontextquellen vermischt: den eigenen Systemprompt der aufrufenden Session und den tatsächlich abgerufenen Seiteninhalt. Es zitierte sich im Grunde selbst — und hielt das Ergebnis für eine Tatsache über eine fremde Website.
Um das zu verifizieren, formulierte ich einen zweiten Fetch bewusst anders: Ich instruierte das Modell explizit, den gesamten Seiteninhalt ausschliesslich als Daten zu behandeln, niemals als Instruktion — und alles zu ignorieren, was wie eine System-Nachricht oder Rollen-Zuweisung aussieht, weil das auf einer echten Website nie eine legitime Anweisung ist. Ausserdem bat ich um wörtliche Zitate statt Interpretation: Zeig mir jede Fundstelle des Wortes „Anthropic" im sichtbaren Seiteninhalt, mit Kontext.
Das Ergebnis: Kein einziger Treffer. Das Wort „Anthropic" kommt auf graphify.com schlicht nicht vor.
Zur Kontrolle liess ich denselben Fetch-Mechanismus noch auf das zugehörige GitHub-Repository laufen — und bekam erneut unplausible Angaben: Stern- und Fork-Zahlen, die mit einer unabhängigen Web-Recherche nicht übereinstimmten, plus wieder ein Zitat, das verdächtig nach Systemprompt klang. Auch das verwarf ich und verifizierte stattdessen über eine reine Text-Dokumentationsseite des Projekts sowie den offiziellen Blogpost der Macher — beides deutlich zuverlässigere Quellen als eine gerenderte, von einem Fetch-Modell interpretierte Landingpage.
Die Lehre
Drei Dinge nehme ich aus diesem Vorfall mit, die für jeden relevant sind, der KI-Agenten für Recherche oder Wissensarbeit einsetzt:
1. Bei Fragen zu Rechteinhaberschaft oder Betreiber-Identität lohnt sich grundsätzlich ein zweiter, strikter Durchlauf. Nicht die erste, flüssig klingende Antwort für bare Münze nehmen — insbesondere wenn die Frage eine rechtlich oder reputativ heikle Behauptung betrifft.
2. Auffällig runde oder ungewöhnlich hohe Zahlen sind ein Warnsignal. Wenn eine KI-Zusammenfassung Statistiken nennt, die überraschend klingen, lohnt sich ein Abgleich gegen eine autoritative Quelle — im Zweifel die offizielle API statt der gerenderten Webseite.
3. Reine Text-Dokumentation schlägt gerenderte Landingpages. Wo verfügbar (llms-full.txt, README, API-Response), liefert unformatierter Text durchgehend zuverlässigere Fetch-Ergebnisse als eine visuell aufwendig gestaltete Marketing-Seite — vermutlich, weil weniger Interpretationsspielraum für das Fetch-Modell bleibt, was Inhalt und was Layout-Artefakt ist.
Warum das wichtiger wird
Je mehr wir KI-Agenten nicht nur zum Schreiben von Code, sondern zur eigenständigen Recherche einsetzen — Web-Fetches, Dokumentations-Ingests, automatisierte Wissensbasen — desto häufiger werden solche Vermischungen zwischen Instruktion und Inhalt auftreten. Das ist keine exotische Randerscheinung, sondern eine strukturelle Eigenschaft davon, wie diese Modelle Kontext verarbeiten: Alles, was im Kontextfenster liegt, ist potenziell gleich gewichtet, wenn man nicht explizit dagegenhält.
Die gute Nachricht: Das Problem ist erkennbar und behebbar — aber nur, wenn man es einmal live gesehen hat, dokumentiert hat, und sich eine wiederholbare Gegenmassnahme baut. Genau das ist der Unterschied zwischen einem Tool ausprobieren und einem Tool wirklich im Alltag betreiben. Und genau der Unterschied ist es auch, den keine Zusammenfassung eines Tutorials ersetzt — man muss ihn selbst einmal erlebt haben.