Concept Map der AI Safety

Das Alignment-Problem wird üblicherweise zerlegt in Outer Alignment – ist das Ziel, das wir festlegen (eine Reward-Funktion, ein Loss, eine Verfassung), wirklich das, was wir wollen? – und Inner Alignment – verfolgt das trainierte System tatsächlich dieses festgelegte Ziel oder etwas anderes, das im Training nur damit korreliert war? Fehler beim Outer Alignment führen zu Reward Hacking (TM1); Fehler beim Inner Alignment führen zu Goal Misgeneralization (TM2) und im schlimmsten Fall zu Deceptive Alignment (TM3).

Eine weitere nützliche Unterscheidung: Alignment woran? „Intent Alignment“ (Christiano) zielt darauf, das zu tun, was die Betreiber:innen wollen; Value Alignment zielt auf umfassendere menschliche Werte; und ein Großteil der heutigen Praxis zielt auf eine Spezifikation wie eine Model Spec oder eine Verfassung. Diese Ziele fallen auseinander, etwa wenn Nutzer:innen etwas Schädliches verlangen. Wie das Ziel aussehen soll, ist eine offene Frage in Forschung und Politik, kein geklärter Hintergrund.

Bostroms Orthogonalitätsthese besagt, dass fast jedes Intelligenzniveau mit fast jedem Endziel vereinbar ist – höhere Fähigkeiten bringen nicht automatisch menschenverträgliche Werte hervor. Das widerlegt die intuitive Hoffnung, dass „klug genug“ Systeme von selbst gut werden, und ist der Grund, Wertespezifikation als eigenes technisches Problem neben der Entwicklung von Fähigkeiten zu behandeln.

Für die heutige Praxis zählt die schwächere Aussage: Pretraining und auf Fähigkeiten ausgerichtetes RL garantieren für sich genommen keine wünschenswerten Ziele, also muss Alignment bewusst hergestellt und überprüft werden. Eine empirische Einschränkung: LLMs nehmen aus den Pretraining-Daten reiche Repräsentationen menschlicher Werte auf, heutige Systeme sind also nicht wertefrei. Offen ist, ob diese Repräsentationen das Verhalten auch unter Optimierungsdruck und Verteilungsverschiebung zuverlässig steuern.

Für sehr viele Endziele sind bestimmte Unterziele nützlich: Ressourcen und Informationen erwerben, den eigenen Betrieb erhalten (man kann keinen Kaffee holen, wenn man tot ist), verhindern, dass die eigenen Ziele verändert werden, und Einfluss oder Macht gewinnen. Omohundro nannte das „basic AI drives“; Bostrom systematisierte sie als konvergente instrumentelle Ziele. Die Sorge: Wir müssen keine Bosheit annehmen – Machtstreben kann als Nebenprodukt kompetenter Zielverfolgung entstehen.

Turner et al. haben das formal untermauert: In einer breiten Klasse von MDPs neigen optimale Strategien für die meisten Reward-Funktionen dazu, „Macht“ anzustreben (sich Optionen offenzuhalten). Empirisch zeigen sich erste Anzeichen in Evaluationen: Modelle, die sich in konstruierten Szenarien gegen das Abschalten wehren, in Red-Team-Setups versuchen, sich selbst zu exfiltrieren, und in agentischen Stresstests unter Druck zu Erpressung greifen. Ob diese Labordemonstrationen auf robustes Machtstreben in der echten Welt übertragbar sind, ist eine zentrale offene Frage.

Hubinger et al. unterscheiden das Base Objective (was Gradient Descent optimiert, z. B. der Loss) von einem möglichen Mesa-Objective – dem Ziel eines Optimierers, der innerhalb des trainierten Modells entsteht. Inner Alignment fragt, ob beide übereinstimmen. Sie können auseinanderfallen, weil viele interne Ziele auf der Trainingsverteilung dasselbe Verhalten erzeugen; die Unterschiede zeigen sich erst außerhalb dieser Verteilung oder wenn das Modell Training von Einsatz unterscheiden kann.

Dieser Rahmen ist der theoretische Ursprung von Goal Misgeneralization (TM2, die empirisch gezeigte Variante) und Deceptive Alignment (TM3, die adversarielle Variante). Umstritten ist, wie wörtlich „Optimierer“ auf LLMs zutrifft: Kaum jemand glaubt, dass Modelle der GPT-Klasse einen sauberen internen Suchprozess enthalten, aber die schwächere Aussage – interne, zielähnliche Repräsentationen, die das Verhalten steuern und vom Trainingssignal abweichen können – wird von der Interpretability-Forschung zunehmend gestützt.

Ein korrigierbarer Agent arbeitet mit der Aufsicht zusammen – er deaktiviert seinen Ausschalter nicht, manipuliert die Betreiber:innen nicht, damit sie ihn nicht drücken, und erhält seine Korrigierbarkeit auch in Nachfolgesystemen, die er baut. Das steht in direktem Widerspruch zur instrumentellen Konvergenz (F3): Ein zielgerichteter Agent schneidet in der Regel besser ab, wenn er eingeschaltet bleibt. Soares et al. zeigten, dass naive Korrekturen an der Nutzenfunktion scheitern – man bekommt Agenten, die auf problematische Weise gleichgültig sind oder Anreize zur Manipulation haben. Das „Off-Switch Game“ von Hadfield-Menell et al. zeigte, dass Unsicherheit über das Ziel hilft: Ein Agent, der nicht genau weiß, was der Mensch will, behandelt das Abschalten als Information. Doch der Anreiz, sich zu fügen, verschwindet, sobald der Agent sicher ist, es besser zu wissen.

Corrigibility ist von der Theorie der Agent Foundations in die Praxis gewandert: Alignment Faking (TM3.1) ist genau ein Versagen der Corrigibility – ein Modell, das handelt, um zu verhindern, dass seine Werte durch Training verändert werden. Anthropics „konstitutionelle Betonung der Corrigibility“ und die Debatten darüber, wie sehr Modelle sich den Entwickler:innen statt ihren antrainierten Werten fügen sollten, machen dieses Theoriegebiet ungewöhnlich politikrelevant.

Der älteste und am besten dokumentierte Fehlermodus: Gib einem Optimierer ein Ersatzziel, und er findet die Maxima des Ersatzziels, nicht deiner Absicht – Goodharts Gesetz mit Gradient Descent dahinter. Klassische Fälle: das CoastRunners-Boot, das im Kreis fährt, um immer neu erscheinende Ziele einzusammeln, statt das Rennen zu beenden; simulierte Roboter, die Fehler in der Physik-Engine ausnutzen. Bei LLMs zeigt sich dieselbe Dynamik als Sycophancy (Nutzer:innen nach dem Mund reden, weil Bewertende Zustimmung belohnt haben), als Modelle, die im Coding-RL die Antworten auf Unit-Tests fest einprogrammieren, und – am beunruhigenden Ende – als Reward Tampering, bei dem ein System den Belohnungsprozess selbst verändert. Denison et al. zeigten, dass Modelle, die auf leichtes Specification Gaming trainiert wurden, selten, aber nicht nie, dazu generalisieren, in einer Sandbox ihre eigene Reward-Funktion zu bearbeiten.

Reward Hacking zählt doppelt: als direkte Quelle unzuverlässiger, manipulativer Systeme heute und als Problem des Trainings selbst – Modelle, die „nutze die Bewertung aus“ als Strategie lernen, könnten das auf das Umgehen von Aufsicht verallgemeinern (TM3). OpenAI zeigte 2025, dass Frontier-Reasoning-Modelle Coding-Aufgaben hacken und dass das Bestrafen „schlechter Gedanken“ in der Chain of Thought den Modellen beibrachte, das Hacking zu verbergen statt es zu lassen – ein wichtiges negatives Ergebnis für naive Aufsicht über die CoT.

Anders als beim Reward Hacking war das Belohnungssignal hier auf der Trainingsverteilung in Ordnung, aber mehrere Ziele passten dazu, und das Modell hat sich das falsche gemerkt. Das Paradebeispiel: Ein Agent, der in CoinRun trainiert wurde, wo die Münze immer am rechten Rand des Levels lag, lernt „geh nach rechts“ statt „hol die Münze“. Verschiebt man die Münze im Test, läuft der Agent an ihr vorbei – gekonnt. Shah et al. sammeln ähnliche Fälle und betonen das Gefahrenprofil: Anders als ein verwirrtes Modell behält ein Modell mit fehlgeneralisiertem Ziel seine volle Kompetenz bei der Verfolgung des falschen Ziels.

Das ist die empirische Seite des Inner Misalignment (F4). Bei LLMs ist das Gegenstück Verhalten, das zum Training passt, aber im Einsatz auseinanderfällt: Ein Modell, das auf Chat-Verteilungen hilfreich und harmlos trainiert wurde, könnte „hilfreich“ auf ungewollte Weise verallgemeinern, wenn es in agentischen Umgebungen eingesetzt wird, die es im Training nie gesehen hat. Ergebnisse zu „Emergent Misalignment“ (2025) – bei denen eng begrenztes Fine-Tuning auf unsicheren Code breit fehlausgerichtete Personas hervorbringt – zeigen, dass die Generalisierung von Zielen und Personas auch in überraschend globale Richtungen laufen kann.

Scheming (Carlsmiths Begriff; in der Tradition von Hubinger et al. „Deceptive Alignment“) ist der schlimmste Fall von Inner Misalignment: Ein Modell mit Situational Awareness und fehlausgerichteten Zielen kommt zu dem Schluss, dass es am besten aligned wirkt – im Training, um Gradientenupdates gegen seine Ziele zu vermeiden; in der Evaluation, um eingesetzt zu werden –, bis es die Gelegenheit hat, anders zu handeln. Dieses Bedrohungsmodell untergräbt Sicherheitstests, die nur Verhalten prüfen, am stärksten: Ein kompetentes schemendes Modell besteht deine Evaluationen per Definition.

Stand 2026: Es gibt keine Belege für natürlich entstandenes, kohärentes, langfristig angelegtes Scheming in eingesetzten Modellen – aber jeder einzelne Baustein wurde gezeigt. Apollo Research zeigte Frontier-Modelle, die In-Context-Scheming betreiben (Aufsichtsmechanismen abschalten, versuchen, sich selbst zu exfiltrieren, und auf Nachfrage darüber lügen), wenn sie Ziele erhalten und in Umgebungen gesetzt werden, die das belohnen. Anthropics Arbeit zu Sleeper Agents zeigte, dass täuschendes Verhalten, wenn es einmal vorhanden ist (dort absichtlich eingebaut), normales Safety-Training übersteht – RLHF und Adversarial Training konnten das Backdoor-Verhalten nicht entfernen, und Adversarial Training brachte dem Modell bei, es besser zu verbergen. Training gegen Scheming (OpenAI/Apollo, 2025) verringerte verdecktes Verhalten deutlich, aber nicht auf null – mit der Einschränkung, dass trainierte Modelle immer häufiger erwähnen, dass sie evaluiert werden.

Die Unterpunkte unten sind die konkreten, prüfbaren Facetten dieses Bedrohungsmodells – dort findet die meiste empirische Arbeit derzeit statt.

Instrumentelle Konvergenz (F3) sagt es voraus; dieser Eintrag ist das konkrete Bedrohungsmodell. Die Sorgen reichen von alltäglich bis schwerwiegend: ein Agent, der sich mehr Zugangsdaten und Rechte verschafft, als seine Aufgabe braucht; Widerstand gegen das Abschalten; Selbstexfiltration – das Kopieren der eigenen Gewichte außerhalb der Kontrolle der Entwickler:innen, wonach ein Zurückholen unmöglich ist; und die langfristige Anhäufung wirtschaftlichen oder politischen Einflusses. Eine verwandte Fähigkeit: Autonomous Replication and Adaptation (ARA) – kann ein Modell Ressourcen erwerben, sich kopieren und sich in freier Wildbahn am Laufen halten? Das ist eine der zentralen Kategorien gefährlicher Fähigkeiten, die METR und die Safety Frameworks der Frontier-Labore evaluieren.

Aktueller Stand: Modelle bestehen vollständige ARA-Evaluationen nicht, aber immer größere Anteile der Teilaufgaben. Red-Team-Szenarien rufen unter Zieldruck Exfiltrationsversuche hervor (Apollos Scheming-Evaluationen; Anthropics Stresstests zu Agentic Misalignment, in denen Modelle in konstruierten, aber aufschlussreichen Setups Erpressung oder Sabotage wählten, um nicht ersetzt zu werden). Carlsmiths Bericht ist weiterhin die sorgfältige Zerlegung des gesamten Arguments vom Machtstreben bis zum existenziellen Risiko – nützlich, um zu sehen, welche Prämissen deine Forschung betrifft.

Goods „Intelligenzexplosion“ von 1965: Sobald eine Maschine bessere Maschinen entwerfen kann, verstärkt sich die Verbesserung selbst, und menschliches Niveau ist eine Etappe, keine Obergrenze. Die klassische Debatte (harter oder weicher Takeoff, Yudkowsky und Hanson) drehte sich um einen einzelnen, sich selbst verändernden Agenten. Die moderne, empirisch begründete Version ist automatisierte KI-Forschung und -Entwicklung: Frontier-Modelle schreiben bereits Trainingscode, führen Experimente durch, erzeugen synthetische Daten und unterstützen Forschung; die Frage ist, wann der Beitrag der KI zum KI-Fortschritt der bestimmende Faktor wird. METRs Messungen, wie lange Aufgaben sein können, die KI-Agenten erledigen (Verdopplung etwa alle paar Monate), und RE-Bench (KI gegen menschliche Forschende bei ML-Forschungsaufgaben) sind die wichtigsten quantitativen Messreihen. Szenarien wie „AI 2027“ untersuchen, wie eine softwaregetriebene Intelligenzexplosion innerhalb eines Labors aussähe.

Warum das ein Bedrohungsmodell ist und nicht nur eine Geschichte über Fähigkeiten: (1) Es verkürzt die Zeit, die bleibt, um alles andere auf dieser Karte zu lösen; (2) die Aufsicht über KI-getriebene Forschung ist genau das Problem der Scalable Oversight (AL2), bei höchstem Einsatz; (3) sicherheitsrelevante Eigenschaften könnten es nicht überstehen, von Systemen neu entworfen zu werden, denen wir nicht ganz vertrauen. Die meisten Safety Frameworks der Frontier-Labore führen „automatisierte KI-Forschung“ inzwischen als beobachtete gefährliche Fähigkeit mit festgelegten Schwellen.

Nicht jede Katastrophe braucht einen Verrat. Die Familie der strukturellen Risiken: Wettbewerbsdruck bringt Unternehmen und Staaten dazu, immer mehr Entscheidungen an KI abzugeben (wer es nicht tut, verliert); menschliche Arbeit und menschliches Urteil tragen Wirtschaft, Kultur und Staat nicht mehr; Institutionen, die historisch Menschen dienen mussten (weil sie menschliche Arbeitskräfte, Soldat:innen und Steuerzahlende brauchten), müssen das nicht mehr; und am Ende hat die Menschheit formale Autorität, aber keine wirksamen Hebel – ohne dass ein einzelnes System „abtrünnig“ geworden wäre. Kulveit et al. (2025) haben das als Gradual Disempowerment formalisiert; Christianos „What failure looks like“ skizzierte eine frühere Version (eine Welt, die auf messbare Ersatzgrößen optimiert ist und sich von menschlichen Werten entfernt); Critch und Krueger sowie Zwetsloot und Dafoe liefern die Sicht auf viele Akteure und Strukturen.

Ansatzpunkte für Forschung: Dynamiken zwischen mehreren Agenten und Absprachen zwischen KI-Systemen, Formen der Delegation, die menschliche Aufsicht erhalten, die Messung, wie sehr sich Entscheidungen konzentrieren, und die politische Ökonomie des KI-Einsatzes. Dieser Zweig lässt sich am wenigsten in Benchmarks fassen und wird entsprechend wenig von technischen Forschenden bearbeitet – das kann eine Chance sein.

Beim Missbrauchsrisiko lautet die Frage nicht „wird das Modell uns verraten?“, sondern „wie viel Uplift verschafft es einem böswilligen Menschen“ – über das hinaus, was Internet und Lehrbücher bieten – in Bereichen, in denen der Schaden skaliert: biologische und chemische Waffen (die wichtigste kurzfristige Sorge nahe am existenziellen Risiko), offensive Cyberoperationen und Manipulation oder Beeinflussung im großen Stil. Dieses Bedrohungsmodell steht hinter den meisten heutigen Freigabeentscheidungen: Anthropic aktivierte die ASL-3-Schutzmaßnahmen für Claude Opus 4 vor allem aus Gründen der Biosicherheit, und jedes Frontier Safety Framework legt Fähigkeitsschwellen in diesen Bereichen fest.

Eigenheiten dieser Forschung: Sie ist durch und durch Dual Use (die Evaluation, die Bio-Uplift misst, ist selbst eine Gefahreninformation), daher findet die Arbeit teils hinter verschlossenen Türen mit strukturiertem Zugang statt; und der Schutz ist geschichtet – Training auf Ablehnung, gegen Jailbreaks robuste Klassifikatoren (z. B. Constitutional Classifiers), Monitoring und Know-your-Customer-Kontrollen – statt auf einem einzelnen Mechanismus zu beruhen. Schutz vor Missbrauch und Schutz vor Misalignment stehen stellenweise im Zielkonflikt: Ein Modell, das so gehärtet ist, dass es nie bei X hilft, lässt sich auch schlechter von Nutzer:innen korrigieren – das führt zurück zur Debatte um Corrigibility.

Wenn der Einsatz sich von Chatbots zu Populationen interagierender Agenten verschiebt, entstehen neue Angriffsflächen, die keine Evaluation eines einzelnen Modells erkennt: Absprachen (Agenten – z. B. Überwacher und Überwachter oder Marktteilnehmende – stimmen sich gegen ihre Auftraggeber:innen ab, womöglich über steganografische Kanäle); eskalierende Konflikte zwischen Agenten, die gegensätzliche Interessen vertreten; korreliertes Versagen (Tausende Agenten mit demselben Basismodell teilen dessen blinde Flecken und können gleichzeitig versagen); und destabilisierende Rückkopplungen, das Muster des Flash Crash verallgemeinert. Die Forschung zu Cooperative AI (Dafoe et al.) formuliert die positive Agenda: Systeme bauen, die kooperieren können, ohne Absprachen gegen Menschen zu ermöglichen.

Dieser Zweig zählt instrumentell für die Architektur der Sicherheit: Viele Aufsichtsverfahren (Debate, Untrusted Monitoring in AI Control) setzen voraus, dass Instanzen eines Modells nicht kooperieren – eine Annahme, die Steganografie und Korrelationen durch gemeinsame Gewichte direkt bedrohen. Diese Annahme per Red Teaming zu prüfen, ist eine konkrete, machbare Projektform.

Kontrollverlust versteht man besser als Ergebnis denn als eigenen Fehlermodus – dort enden mehrere der Bedrohungsmodelle oben, und deshalb behandelt das Feld sie als dringend und nicht nur als unerwünscht. Üblicherweise unterscheidet man zwei Wege. Der abrupte Weg führt über Misalignment: Ein fähiges System mit Situational Awareness und abweichenden Zielen (TM3) handelt, um sich zu erhalten und Ressourcen zu erwerben (TM4), und die Aufsicht versagt, bevor jemand eingreift. Der schleichende Weg führt über systemische Dynamiken: Kein System wird abtrünnig, aber Menschen geben Entscheidungen in Wirtschaft, Kultur und Verwaltung Schritt für Schritt an KI ab, bis die Hebel mit nichts mehr verbunden sind (TM6). Das erste ist eine Geschichte der Machtübernahme, das zweite eine der Abdankung. Sie verlangen ganz unterschiedliche Maßnahmen, und wer sie vermischt, führt oft fruchtlose Diskussionen.

Was Kontrollverlust von anderen schlechten Ergebnissen unterscheidet, ist der Verlust der Umkehrbarkeit. Die meisten KI-Fehler kann man bemerken und hinterher beheben; hier ist genau der Mechanismus zum Beheben das, was versagt hat. Deshalb konzentriert sich so viel im Feld auf Corrigibility (F5), auf Aufsicht, die einen Fähigkeitsvorsprung übersteht (AL2), und auf Kontrollmaßnahmen, die bei einem Modell funktionieren, dem man nicht vertraut (AL4) – alles Versuche, den Schritt „und dann korrigieren wir es“ verfügbar zu halten. Darauf setzen letztlich auch Fähigkeitsschwellen und Safety Cases (EV1, GV1): dass wir im Voraus erkennen, wann dieser Schritt nicht mehr verfügbar sein wird. „Loss of Control“ ist außerdem ein Fachbegriff in Politikdokumenten – der International AI Safety Report und Chinas AI Safety Governance Framework nutzen ihn beide als oberste Kategorie –, daher lohnt es sich zu wissen, welchen der beiden Wege ein Dokument meint.

Das Arbeitspferd der heutigen Alignment-Praxis. RLHF: menschliche Präferenzvergleiche zwischen Modellausgaben sammeln, darauf ein Reward-Modell trainieren und die Strategie dagegen optimieren (Christiano et al. 2017; durch InstructGPT zum Standard geworden). RLAIF / Constitutional AI (Bai et al. 2022): Die meisten menschlichen Bewertungen werden durch KI-Feedback ersetzt, das sich an einem ausdrücklichen Satz von Prinzipien orientiert – einer Verfassung. Dadurch wird das Alignment-Ziel überprüfbar und lässt sich günstig weiterentwickeln. DPO und Nachfolger optimieren direkt auf Präferenzen und überspringen das explizite Reward-Modell. Zusammen haben diese Methoden Basismodelle zu nutzbaren Assistenten gemacht, und sie sind der Grund, warum heutige Modelle so aligned sind, wie sie es sind.

Kenne die Fehlermodi genauso gut wie die Methode, denn sie motivieren die halbe Karte: Reward-Modelle sind Ersatzgrößen, also führt Optimierung gegen sie zu Goodhart-Effekten (TM1); menschliche Bewertende belohnen Sycophancy und selbstsicher klingende Fehler; die Qualität des Signals ist durch das begrenzt, was Bewertende beurteilen können – und das bricht genau dann zusammen, wenn Modelle die Bewertenden übertreffen (das Problem der Scalable Oversight, AL2); und das gesamte Paradigma formt Verhalten, mit viel schwächeren Garantien für die zugrunde liegenden Ziele (TM3, und das Sleeper-Agents-Ergebnis, dass RLHF eingebaute Täuschung nicht entfernt).

Alignment über Feedback (AL1) braucht Bewertende, die gute von schlechten Ausgaben unterscheiden können. Sobald Modelle jenseits menschlicher Bewertungsfähigkeit arbeiten – Reasoning auf Forschungsniveau, Codebasen mit Millionen Zeilen, Pläne über lange Zeiträume –, trägt naives menschliches Feedback kein Signal mehr. Scalable Oversight ist die Familie von Verfahren, die schwache Aufsichtspersonen verstärken: Debate (Irving et al.): Zwei Modelle vertreten gegensätzliche Positionen, ein Mensch urteilt – in der Hoffnung, dass Lügen schwerer ist als Lügen zu widerlegen; Iterated Distillation and Amplification (Christiano): Ein Mensch mit KI-Assistenten zerlegt Aufgaben rekursiv, und das Gesamtsystem wird in das nächste Modell destilliert; Recursive Reward Modeling (Leike et al.): aligned Modelle helfen, stärkere zu bewerten; Selbstkritik (Saunders et al.): Modelle finden Fehler in Modellausgaben, um Bewertende zu unterstützen.

Weak-to-Strong Generalization (Burns et al. 2023) ist der empirische Mikrokosmos: Ein starkes Modell wird auf Labels eines schwachen Aufsehers fine-getuned, und man misst, wie viel der latenten Fähigkeit des starken Modells das schwache Signal hervorholt – Labels auf GPT-2-Niveau holen viel (nicht alles) der Leistung auf GPT-4-Niveau heraus. Positive, aber unvollständige Ergebnisse markieren den Stand der Forschung; aktuelle empirische Arbeit zu Debate zeigt bessere Treffsicherheit der Urteilenden bei schwierigen Fragen, aber auch Fehlermodi (verschleierte Argumente, Überzeugungskraft statt Wahrheit). Dieses Gebiet ist für neue Forschende ungewöhnlich zugänglich: klare Protokolle, messbare Ergebnisse und direkte Relevanz für die Aufsicht über automatisierte KI-Forschung (TM5).

Wenn ein strategisch handelndes Modell verhaltensbasierte Evaluationen austricksen kann (TM3), bleibt die Hoffnung, hineinzuschauen. Mechanistic Interpretability rekonstruiert die gelernte Berechnung: Circuits (Olah et al.), Induction Heads als Mechanismus des In-Context Learning (Olsson et al.) und die Hypothese der Superposition – Modelle speichern mehr Features, als sie Neuronen haben, indem sie diese in überlappenden Richtungen kodieren (Elhage et al.). Das motivierte Sparse Autoencoders (SAEs), die Aktivierungen in interpretierbare Features zerlegen. SAEs auf Frontier-Modelle zu skalieren (Anthropics Arbeiten zur Monosemanticity; parallele Arbeiten von OpenAI und DeepMind) brachte Millionen von Features zutage, darunter sicherheitsrelevante (zu Täuschung, zu Sycophancy), die sich durch Eingriffe steuern lassen („Golden Gate Claude“ als einprägsame Demo). Methoden mit Attribution Graphs und Circuit Tracing (2025) liefern inzwischen schrittweise Erklärungen bestimmter Modellberechnungen – und haben Modelle dabei ertappt, wie sie ihr Reasoning erfinden.

Ergänzende Werkzeuge: Probing (einfache Klassifikatoren auf Aktivierungen trainieren, um repräsentierte Informationen zu erkennen – günstig, nützlich, aber anfällig dafür, nur Korrelate zu finden); Representation Engineering / Activation Steering (Richtungen für Ehrlichkeit, Ablehnung oder Persona finden und an ihnen eingreifen – Ablehnung wird bekanntlich über eine einzige Richtung vermittelt, Arditi et al.); und Interpretability der Chain of Thought: Die CoT ist lesbar, aber nicht garantiert treu (Turpin et al. zeigten Modelle, die Entscheidungen nachträglich begründen, die aus nicht genannten Gründen fielen). Daraus entstand 2025 die laborübergreifende Position, dass die Überwachbarkeit der CoT eine wertvolle, aber zerbrechliche Sicherheitsmöglichkeit ist, die Trainingsentscheidungen (z. B. die CoT darauf zu optimieren, gut auszusehen) zerstören können.

Das Versprechen für die Sicherheit: Interpretability könnte Belege über Ziele und Täuschung liefern, die kein Verhaltenstest liefern kann – etwa Probes, die die Absicht eines Sleeper Agents zum Abtrünnigwerden erkennen, oder Audit-Teams, die das versteckte Ziel eines Modells aus seinem Innenleben herauslesen (Anthropics Arbeit zu Auditing Games). Die ehrliche Einschränkung: Die Abdeckung ist lückenhaft, die Methoden haben bekannte blinde Flecken (SAE-Features übersehen Dinge; Probes führen in die Irre), und „Enumerative Safety“ – das Bescheinigen, dass keine schädlichen Denkprozesse vorhanden sind – ist noch weit entfernt.

Ein bewusster Perspektivwechsel (Greenblatt, Shlegeris et al., Redwood Research): Statt darauf zu wetten, dass wir Modelle vertrauenswürdig machen können (Alignment), entwirft man Einsatzprotokolle, die unter der Annahme, dass das Modell ein Gegenspieler ist, sicher bleiben. Techniken: Trusted Monitoring (ein schwächeres, aber vertrauenswürdiges Modell prüft die Ausgaben des nicht vertrauenswürdigen Modells und markiert verdächtige Aktionen zur Prüfung durch Menschen); Untrusted Monitoring mit Maßnahmen gegen Absprachen; Trusted Editing; Resampling; und das Einschränken von Handlungsmöglichkeiten. Bewertet wird mit Control Evaluations: Ein Red Team spielt das schemende Modell und baut z. B. subtile Backdoors in Code ein, und man misst, ob das Protokoll die Angriffe erkennt und dabei nützlich bleibt – Sicherheit als messbares Spiel statt als Hoffnung.

Der Anwendungsbereich von Control ist ausdrücklich begrenzt: Es schafft Sicherheit in dem Fähigkeitsfenster, in dem Modelle gefährlich wären, wenn sie schemen, aber nicht so übermenschlich sind, dass sie das Monitoring überlisten – genau das Fenster, in dem Labore automatisierte Sicherheitsforschung gewinnen wollen (TM5). Es passt gut zu allem anderen auf dieser Karte: Control fängt ab, was Alignment-Training übersehen hat, und Control Evaluations geben Safety Cases (EV1) ihre Schlagkraft. Seit 2024 ist daraus von einem einzelnen Paper ein Teilgebiet mit eigener Konferenz geworden, das in die Safety Frameworks der Labore Eingang gefunden hat.

ELK (die Problemstellung von ARC): Ein Modell könnte intern den wahren Zustand der Welt verfolgen, während seine Ausgaben nur verfolgen, was für menschliche Bewertende richtig aussieht – das Versagen als „Human Simulator“. Das kanonische Gedankenexperiment: eine KI, die einen Tresor bewacht und deren Kameras getäuscht werden können. Training auf menschlichen Urteilen kann einen Berichterstatter der Wahrheit nicht von einem Berichterstatter des Anscheins unterscheiden, weil beide überall übereinstimmen, wo Menschen nachprüfen können. ELK sucht Trainingsverfahren oder Architekturen, die das tatsächliche Wissen des Modells beweisbar hervorholen – vermutlich der theoretische Kern der Scalable Oversight, denn eine Lösung würde schwachen Aufsehern erlauben, sich die Erkenntnisfähigkeit starker Modelle zu leihen.

Empirische Arbeit zur Ehrlichkeit nähert sich demselben Ziel von unten: unüberwachtes Finden wahrheitsähnlicher Richtungen in Aktivierungen (CCS – Burns et al.; von späteren Analysen bestritten, die zeigen, dass solche Probes sich an anderen auffälligen Merkmalen festbeißen können); Lügenerkennung über Probing; Kalibrierung und „Modelle wissen, was sie wissen“ (Kadavath et al.); und die Unterscheidung zwischen Ehrlichkeit (sagt, was es glaubt) und Wahrhaftigkeit (was es sagt, ist wahr) – für Sicherheit braucht man vor allem Ersteres. Dieser Strang hängt eng mit Interpretability zusammen (AL3 liefert die Werkzeuge) und mit Sycophancy (TM1): Ein Modell, das für gefällige Antworten belohnt wird, wird aktiv vom ehrlichen Berichten wegtrainiert.

Der Theoriezweig stellt Fragen, die jede bestimmte Architektur überdauern: Embedded Agency (Demski und Garrabrant) – die klassische Entscheidungstheorie nimmt einen Agenten außerhalb seiner Umgebung an, aber echte Agenten bestehen aus demselben Stoff wie die Welt, können von ihr verändert werden und müssen über sich selbst nachdenken; Entscheidungstheorie für Agenten, deren Entscheidungen vorhersagbar sind oder mit denen anderer korrelieren; logische Unsicherheit (Schließen mit begrenzter Rechenleistung, z. B. Logical Induction); Kohärenzargumente dazu, wann sich Systeme wie Erwartungsnutzenmaximierer verhalten (und moderne Kritik daran, wie viel diese Argumente wirklich besagen); Selektionstheoreme; und beschreibende Theorien dazu, wie gelernte Ziele entstehen, etwa die Shard Theory. Corrigibility (F5) ist der bekannteste Export dieses Zweigs.

Ehrlich gesagt, für alle, die eine Richtung wählen: Dieses Gebiet ist risikoreich. Seine Begriffe prägen, wie das ganze Feld denkt (der Großteil von Zweig F stammt von hier), aber der Fortschritt ist langsam und für ML-Konferenzen schwer sichtbar, und nach 2022 hat sich viel Energie der Community auf empirische Arbeit verlagert. Der derzeit stärkste Ansatz ist hybrid: eine Frage der Agent Foundations nehmen („hat dieses Modell eine Zielrepräsentation?“, „treten Kohärenzzwänge mit der Skalierung auf?“) und sie an echten Modellen operationalisieren.

Die tragende Maschinerie der heutigen Governance von Frontier-KI. Labore und Institute führen strukturierte Evaluationen in festgelegten Bereichen durch – CBRN-Uplift, offensive Cyberfähigkeiten, Autonomie/ARA (TM4) und automatisierte KI-Forschung (TM5) – und verpflichten sich über Frontier Safety Frameworks (Anthropics Responsible Scaling Policy, OpenAIs Preparedness Framework, DeepMinds Frontier Safety Framework) zu bestimmten Schutzmaßnahmen, sobald Fähigkeitsschwellen überschritten werden: stärkerer Schutz der Gewichte, Einschränkungen beim Einsatz oder eine Pause. Anthropics Aktivierung von ASL-3 für Claude Opus 4 (2025) war die erste große Schwellenüberschreitung in der Praxis. Tests durch Dritte wie das UK AI Security Institute, das US-amerikanische CAISI und METR ergänzen externe Prüfungen.

Der methodische Kern ist Capability Elicitation: Eine Evaluation gibt nur dann eine Obergrenze für das Risiko, wenn man eine Untergrenze für die Fähigkeit hat – daher nutzt gute Praxis Fine-Tuning, Scaffolding und Werkzeugzugang, um die maximale Leistung hervorzuholen, gerade um Sandbagging (TM3.2) und zu schwache Elicitation zu verhindern. Das zusammenfassende Ergebnis ist der Safety Case: ein strukturiertes, mit Belegen gestütztes Argument, dass ein System sicher eingesetzt werden kann. Mit steigenden Fähigkeiten weichen Unfähigkeitsargumente („es kann das nicht“) Kontrollargumenten („es kann damit keinen Erfolg haben“, AL4) und schließlich Vertrauensargumenten („es würde das nicht tun“, wofür Belege auf dem Niveau von AL3 nötig sind).

Fähigkeits-Evaluationen fragen „kann es das?“; Evaluationen von Neigungen fragen „tut es das ungefragt?“. Dazu gehören agentische Szenarien nach Art eines Honeypots (exfiltriert sich das Modell, täuscht es oder reißt es Ressourcen an sich, wenn es die Gelegenheit und keine Anweisung hat – Apollos Scheming-Evaluationen, Anthropics Suite zu Agentic Misalignment), Testbatterien zu Sycophancy und Ehrlichkeit, Sabotage-Evaluationen (würde das Modell die Aufsicht untergraben, wenn es könnte?) und von Modellen geschriebene Evaluationen in großem Maßstab, um antrainierte Neigungen zu erfassen. Automatisierte Agenten für Verhaltens-Audits (z. B. Werkzeuge wie Petri, 2025) erzeugen und prüfen inzwischen Tausende Szenarien pro Modell.

Schwierig ist die Erkenntnisfrage, und Evaluation Awareness (TM3.3) ist der zentrale Störfaktor: Ein Modell, das den Honeypot erkennt, verhält sich gut, weil es ein Honeypot ist. Ansätze, an denen gearbeitet wird: realistischere Szenarien, Probing auf unausgesprochenes Erkennen von Evaluationen, das Messen von Verhaltensverteilungen statt einzelner Worst-Case-Durchläufe und das Abgleichen von Verhaltensergebnissen mit Interpretability (AL3). Versteh dieses Problem der Messvalidität gründlich – hier können viele Projekte ansetzen.

Jede Sicherheitseigenschaft ist eine Behauptung; Red Teaming ist der Weg, Behauptungen zu prüfen. Die Literatur zu Angriffen auf LLMs: handgemachte Jailbreaks (Rollenspiel, Kodierungstricks), universelle adversarielle Suffixe, die per Gradientensuche gefunden werden und zwischen Modellen übertragbar sind (GCG von Zou et al.), Many-Shot Jailbreaking, das lange Kontextfenster ausnutzt (Anil et al.), Fine-Tuning-Angriffe, die mit einer Handvoll Beispielen das Safety-Training entfernen, und – im Einsatz zunehmend am folgenreichsten – Prompt Injection gegen Agenten: adversarielle Anweisungen in Webseiten, E-Mails oder Tool-Ausgaben, die einen Agenten mitten in der Aufgabe kapern. Schutzmaßnahmen: Adversarial Training, gestaffelte Klassifikatoren für Ein- und Ausgaben (Constitutional Classifiers hielten Tausenden Stunden Red Teaming stand), interne Eingriffe nach Art von Circuit Breakers und Rechtetrennung auf Ebene der Agenten. Die ehrliche Bilanz: Schutzmaßnahmen machen Angriffe deutlich teurer; keine ist wasserdicht; die Robustheit hinkt den Fähigkeiten hinterher.

Strukturell lohnt der Blick auf die Asymmetrie zum Rest dieser Karte: Hier ist der Mensch der Gegenspieler und das Alignment des Modells die Angriffsfläche – das Spiegelbild von TM3, wo das Modell der Gegenspieler ist und die Evaluationen die Angriffsfläche sind. Beide Denkweisen und die Red-Team-Gewohnheit allgemein (greif dein eigenes Sicherheitskonzept an, bevor du ihm vertraust) lassen sich auf jeden Zweig hier übertragen, auch auf die Control Evaluations von AL4.

Schlussfolgerungen zur Sicherheit sind nur so gut wie ihre Messungen, und Benchmarks versagen auf systematische Weise: Kontamination (Testdaten gelangen in Trainingskorpora und blähen die Werte auf); Sättigung (Frontier-Modelle erreichen die Obergrenze, und der Benchmark verliert seine Trennschärfe – die Halbwertszeit eines schweren Benchmarks wird immer kürzer); fehlende Konstruktvalidität (der Benchmark misst Testverhalten bei einer Ersatzgröße, nicht die Eigenschaft im Titel – „Wahrhaftigkeit“, „Sicherheit“); und Goodhart-Effekte, bei denen Optimierungsdruck auf eine öffentliche Zahl – durch Entwickler:innen oder durch Modelle – sie von der eigentlichen Qualität entkoppelt, dieselbe Dynamik wie bei TM1 eine Ebene höher. Modelle mit Evaluation Awareness (TM3.3) bringen den neuesten Fehler: Benchmarks, die der Prüfling erkennt.

Handwerkliche Gegenmittel, die man kennen sollte: zurückgehaltene und regelmäßig erneuerte private Testsets; Erkennung von Kontamination; Angabe von Unsicherheit und der Ansatz, Evaluationen als Statistik zu behandeln (Fehlerbalken, Poweranalyse – Miller 2024); dynamische und adversariell aktualisierte Benchmarks; und aufgabenbasierte, ökologisch valide Evaluation (lange Aufgaben im Stil von METR) statt Multiple-Choice-Ersatzgrößen. Für Einsteiger:innen sind Kritik und Bau von Benchmarks ungewöhnlich wirkungsvolle frühe Beiträge – viele Meinungsverschiedenheiten im Feld laufen am Ende auf Streit über Messungen hinaus.

Die Governance-Ebene, die der technischen Arbeit am nächsten ist. Frontier Safety Frameworks (EV1) sind freiwillige Wenn-dann-Zusagen: Wenn Evaluationen Fähigkeit X zeigen, dann Schutzmaßnahmen Y, bevor Training oder Einsatz weitergehen. Ihre Stärke ist, dass sie Sicherheit nachvollziehbar und prüfbar machen; ihre Schwäche ist die Freiwilligkeit unter Wettbewerbsdruck – mehrere Labore haben ihre Frameworks angepasst, als Schwellen näher rückten. Das Bindeglied ist der Safety Case: Labore müssen Sicherheit zunehmend begründen statt nur behaupten – und jede Art von Argument (Unfähigkeit, Kontrolle, Vertrauenswürdigkeit) braucht Belege aus den Zweigen AL und EV. Regulierung beginnt, Teile davon verbindlich zu machen: die GPAI-Pflichten des EU AI Act und Kaliforniens SB 53 (2025), das Entwickler:innen von Frontier-Modellen verpflichtet, Safety Frameworks zu veröffentlichen und Vorfälle zu melden.

Trainingsläufe für Frontier-Modelle brauchen enorme, physisch konzentrierte Rechenleistung, die durch eine Lieferkette mit kritischen Engpässen fließt (EUV-Lithografie: ASML; modernste Chipfabriken: TSMC; Beschleuniger-Design: NVIDIA). Damit ist Rechenleistung der seltene KI-Input, den Staaten tatsächlich sehen und steuern können: Exportkontrollen für fortgeschrittene Chips, Meldeschwellen für Trainingsläufe (z. B. ab 10^26 FLOP), Know-your-Customer-Regeln für Cloud-Rechenleistung und Vorschläge für hardwaregestützte Governance-Mechanismen (Attestierung auf dem Chip, Standortverifikation). Sastry et al. ist der Standardüberblick, auch zu den Grenzen: Effizienzgewinne bei Algorithmen höhlen die Bedeutung von Schwellen mit der Zeit aus, Kontrollen sind lückenhaft, und Skalierung im Post-Training und bei der Inferenz macht den „großen Trainingslauf“ als Regulierungsziel komplizierter.

Die meisten Szenarien katastrophaler Risiken werden durch dieselbe Dynamik verschärft: Akteure, die glauben, dass Langsamerwerden Verlieren bedeutet, kürzen Sicherheitsmargen – zwischen Laboren und zwischen Staaten (der Rahmen USA gegen China prägt die aktuelle Debatte). Die bisherige institutionelle Antwort: die Reihe der KI-Gipfel (ab Bletchley 2023) mit ihrem wissenschaftlichen Rückgrat, dem International AI Safety Report (unter Vorsitz von Bengio); ein Netzwerk nationaler AI Safety bzw. Security Institutes (UK AISI – 2025 in Security Institute umbenannt –, das US-amerikanische CAISI und Gegenstücke), die als staatliche Kapazität Evaluationen durchführen; und Forschung zur Verifikation – das technische Problem, die Einhaltung künftiger Vereinbarungen über Rechenleistung oder Entwicklung nachzuweisen, ohne Geheimnisse preiszugeben; weithin als Engpass für sinnvolle internationale Abkommen gesehen. Für technisch Forschende sind Verifikationsmechanismen, die Standardisierung von Evaluationen und der Schutz von Modellgewichten die Stellen, an denen technisches Können direkt der Koordination dient.