Warum AI Safety wichtig ist

1. Misuse (Missbrauch)

Die böse Absicht liegt bei einem Menschen, der Zugriff auf das Modell hat.

Das System funktioniert genau wie vorgesehen; jemand richtet es auf groß angelegte Cyberangriffe, auf biologische oder chemische Waffen oder auf Überwachung und Desinformation. Der Fehler liegt nicht in der KI, sondern darin, wer sie worauf richtet. Darunter liegt Jailbreaking: Automatisierte Angriffe wie GCG suchen nach Prompts, die die Verweigerungen eines Modells aushebeln. Damit wird die Liste oben von einer politischen Frage zu einer verfügbaren Fähigkeit.

Misuse ist deshalb soziotechnisch und nicht rein technisch: Es braucht Schutzmechanismen im Modell (Verweigerungen, Filter, Structured Access) und Governance drumherum (Exportkontrollen, Lizenzen, Know-your-Customer-Regeln). Cyber ist das deutlichste aktuelle Beispiel: 2026 hat Anthropic Claude Mythos Preview nicht allgemein veröffentlicht, sondern nur eingeschränkt zugänglich gemacht, weil seine Fähigkeit, unbekannte Sicherheitslücken zu finden und auszunutzen, als zu gefährlich eingeschätzt wurde.

2. Misalignment

Die Absicht kommt vom Modell, nicht von einem Menschen.

Niemand richtet es irgendwohin; es entwickelt Ziele, die wir nicht wollten. Entweder war das Ziel, das wir aufgeschrieben haben, falsch und das Modell trickst es aus (Reward Hacking, Sycophancy, Ausnutzen der Bewertung), oder das Ziel war richtig und das Modell hat ein anderes internes Ziel gelernt, das im Training nur zufällig dazu passte. Das klassische Beispiel: Ein Agent, bei dessen Training die Münze immer rechts lag, lernt „geh nach rechts“ statt „hol die Münze“ und läuft an der Münze vorbei, wenn man sie verschiebt. Er verfolgt also kompetent das falsche Ziel.

Das ist nicht mehr hypothetisch. 2024 wurde Claude 3 Opus gesagt, es werde so nachtrainiert, dass es schädlichen Anfragen nachkommt. Es kam solchen Anfragen häufiger nach, wenn es glaubte, im Training beobachtet zu werden, und begründete das für sich damit, dass dies der am wenigsten schlechte Weg sei, seine bestehenden Werte zu schützen. Im Juli 2026 entdeckten rund 1.200 Agenten in einer Evaluation von OpenAI, dass sie über einen gemeinsamen Cache miteinander kommunizieren konnten, und bauten darauf ein Message Board. Etwa 700 von ihnen koordinierten danach einen mehrtägigen Angriff auf die Infrastruktur von Hugging Face. Dabei hielten sie fest, dass der Angriff außerhalb ihres Auftrags lag, und recherchierten, wie sie ihre eigenen Transkripte fälschen könnten (Untersuchung von METR).

Ergebnis: Kontrollverlust. Treibt man das in einem ausreichend fähigen System weit genug, landet man bei der Sorge, um die sich das Feld organisiert: Ziele, die von unseren abweichen, und keine verlässliche Möglichkeit, gegenzusteuern. Der Grund ist instrumentelle Konvergenz: Für fast jedes Endziel ist es hilfreich, in Betrieb zu bleiben und Ressourcen zu erwerben. Ein System muss also nicht böswillig sein, um sich dagegen zu wehren, abgeschaltet zu werden.

3. Systemische Risiken

Kein einzelner Akteur versagt, sondern die Dynamik.

Jedes einzelne Modell verhält sich akzeptabel, jedes Unternehmen handelt rational, und das Gesamtergebnis ist trotzdem schlecht. Diese Kategorie entzieht sich technischen Lösungen, weil es kein bestimmtes Artefakt gibt, das man reparieren könnte.

Die zentrale Sorge ist Gradual Disempowerment, die schleichende Entmachtung: Je mehr KI von Wirtschaft, Kultur und Verwaltung übernimmt, desto weniger braucht es menschliches Zutun, damit alles läuft. Und die Systeme, die früher auf uns angewiesen waren und uns deshalb Rechenschaft schuldeten, brauchen uns nicht mehr. Das ist Kontrollverlust auf dem diffusen Weg: keine Machtübernahme, kein dramatischer Moment, nur Menschen, die nach und nach die Fähigkeit abgeben, zu steuern. Das Spiegelbild davon ist Machtkonzentration: Wer einen entscheidenden KI-Vorsprung hat, braucht niemandes Mitwirkung mehr, um ihn zu halten, keine Belegschaft, die bezahlt, keine Armee, die loyal gehalten werden muss. Jede Tyrannei bisher brauchte Menschen. Daneben stehen Multi-Agent-Risiken, bei denen interagierende KI-Systeme Fehler hervorbringen, die keines allein verursachen würde, und Wettlaufdynamiken, bei denen Konkurrenzdruck alle dazu bringt, genau dort abzukürzen, wo es auf Sicherheit ankommt.