Sicherheit und Benutzerrechte
Das Plädoyer, KI ernsthaft als Bedrohung für die Menschheit zu betrachten
Warum einige Menschen Angst vor KI haben, erklärt.
Kelsey Piper, Vox (Ursprünglicher Artikel auf Future Perfect, Vox). Okt 2020
Stephen Hawking hat gesagt, „Die Entwicklung von vollwertiger künstlicher Intelligenz könnte das Ende der Menschheit bedeuten.“ Elon Musk behauptet, dass KI die „größte existenzielle Bedrohung“ der Menschheit ist.
Das könnte die Leute fragen lassen: Warte, was? Aber diese großen Sorgen sind in der Forschung verwurzelt. Neben Hawking und Musk glauben auch prominente Persönlichkeiten von Oxford und UC Berkeley sowie viele der Forscher, die heute im Bereich der KI arbeiten, dass fortgeschrittene KI-Systeme, wenn sie leichtfertig eingesetzt werden, die menschliche Zivilisation dauerhaft von einer guten Zukunft abschneiden könnten.
Diese Sorge wird seit der Anfänge des Rechnens geäußert. Aber sie ist in den letzten Jahren besonders in den Fokus gerückt, da Fortschritte in den Techniken des maschinellen Lernens uns ein konkreteres Verständnis davon gegeben haben, was wir mit KI tun können, was KI für (und mit) uns tun kann und wie viel wir immer noch nicht wissen.
Es gibt auch Skeptiker. Einige von ihnen denken, dass fortgeschrittene KI so weit entfernt ist, dass es keinen Sinn macht, jetzt darüber nachzudenken. Andere befürchten, dass übermäßiger Hype über die Macht ihres Feldes es vorzeitig beenden könnte. Und selbst unter den Menschen, die weitgehend zustimmen, dass KI einzigartige Gefahren birgt, gibt es unterschiedliche Auffassungen darüber, welche Schritte heute am sinnvollsten sind.
Das Gespräch über KI ist voller Verwirrung, Fehlinformationen und Menschen, die aneinander vorbeireden — und das zu einem großen Teil, weil wir das Wort „KI“ verwenden, um so viele Dinge zu beziehen. Hier ist also der große Überblick darüber, wie künstliche Intelligenz eine katastrophale Gefahr darstellen könnte, in neun Fragen:
1) Was ist KI?
Künstliche Intelligenz ist der Versuch, Computer zu schaffen, die fähig sind, intelligentes Verhalten zu zeigen. Es ist ein weit gefasster Begriff, der alles von Siri über IBMs Watson bis hin zu mächtigen Technologien umfasst, die wir noch erfinden müssen.
Einige Forscher unterscheiden zwischen "schmaler KI" – Computer-Systemen, die in einem bestimmten, klar definierten Bereich besser sind als Menschen, wie Schachspielen oder Bilderzeugen oder Krebsdiagnosen – und "allgemeiner KI", Systemen, die die menschlichen Fähigkeiten in vielen Bereichen übertreffen können. Wir haben noch keine allgemeine KI, aber wir beginnen, ein besseres Gefühl für die Herausforderungen zu bekommen, die sie mit sich bringen wird.
Schmale KI hat in den letzten Jahren außergewöhnliche Fortschritte gemacht. KI-Systeme haben sich dramatisch verbessert in der Übersetzung, bei Spielen wie Schach und Go, bei wichtigen biologischen Forschungsfragen wie der Vorhersage, wie Proteine sich falten, und beim Erzeugen von Bildern. KI-Systeme bestimmen, was Sie in einer Google-Suche oder in Ihrem Facebook-Newsfeed sehen werden. Sie komponieren Musik und schreiben Artikel, die auf den ersten Blick so erscheinen, als ob sie von einem Menschen verfasst wurden. Sie spielen Strategie Spiele. Sie werden entwickelt, um die Zielverfolgung von Drohnen zu verbessern und Raketen zu erkennen.
Aber schmale KI wird weniger schmal. Einst haben wir im Bereich KI Fortschritte gemacht, indem wir Computer-Systeme mühsam spezifische Konzepte beigebracht haben. Um Computer-Sehen zu ermöglichen – einem Computer zu erlauben, Dinge in Bildern und Videos zu identifizieren – schrieben Forscher Algorithmen zur Kantenerkennung. Um Schach zu spielen, programmierten sie Heuristiken über Schach. Um natürliche Sprachverarbeitung (Spracherkennung, Transkription, Übersetzung usw.) zu gewährleisten, schöpften sie aus dem Bereich der Linguistik.
Aber in letzter Zeit sind wir besser darin geworden, Computersysteme mit verallgemeinerten Lernfähigkeiten zu erstellen. Anstatt die detaillierten Merkmale eines Problems mathematisch zu beschreiben, lassen wir das Computersystem das selbst lernen. Während wir früher Computer-Sehen als ein vollkommen anderes Problem von{
2) Ist es überhaupt möglich, einen Computer so schlau zu machen wie eine Person?
Ja, obwohl die heutigen KI-Systeme nicht annähernd so intelligent sind.
Ein beliebtes Sprichwort über KI lautet: "Alles, was einfach ist, ist schwer, und alles, was schwer ist, ist einfach." Komplexe Berechnungen im Handumdrehen? Einfach. Ein Bild anzusehen und dir zu sagen, ob es ein Hund ist? Schwer (bis ganz kürzlich).
Viele Dinge, die Menschen tun, liegen immer noch außerhalb der Reichweite von KI. Es ist beispielsweise schwer, ein KI-System zu entwerfen, das eine unbekannte Umgebung erkundet und seinen Weg vom Eingang eines Gebäudes, in dem es noch nie gewesen ist, die Treppe zu einem bestimmten Schreibtisch einer Person finden kann. Wir fangen gerade erst an zu lernen, wie man ein KI-System entwirft, das ein Buch liest und ein Verständnis für die Konzepte behält.
Das Paradigma, das viele der größten Durchbrüche in der KI kürzlich vorangetrieben hat, wird "Deep Learning" genannt. Deep-Learning-Systeme können erstaunliche Dinge tun: Spiele schlagen, die wir dachten, Menschen könnten sie niemals verlieren, überzeugende und realistische Fotografien erfinden, offene Probleme in der Molekularbiologie lösen.
Diese Durchbrüche haben einige Forscher zu dem Schluss kommen lassen, es sei an der Zeit, über die Gefahren leistungsfähigerer Systeme nachzudenken, aber Skeptiker bleiben. Die Pessimisten auf diesem Gebiet argumentieren, dass Programme immer noch einen außergewöhnlichen Pool strukturierter Daten benötigen, um zu lernen, sorgfältig ausgewählte Parameter erfordern oder nur in Umgebungen funktionieren, die darauf ausgelegt sind, die Probleme zu vermeiden, die wir noch nicht wissen, wie wir sie lösen können. Sie verweisen auf selbstfahrende Autos, die trotz der Milliarden, die in ihre Funktionsweise investiert wurden, unter den besten Bedingungen immer noch mittelmäßig abschneiden.
Es ist jedoch selten, einen Spitzenforscher in der KI zu finden, der denkt, dass allgemeine KI unmöglich ist. Stattdessen neigen die Pioniere des Feldes dazu zu sagen, dass sie irgendwann geschehen wird – aber wahrscheinlich an einem Tag, der noch weit entfernt ist.
Andere Forscher argumentieren, dass dieser Tag vielleicht doch nicht so fern ist.
Das liegt daran, dass wir während der gesamten Geschichte der KI größtenteils davon zurückgehalten wurden, nicht genug Rechenleistung zu haben, um unsere Ideen vollständig zu verwirklichen. Viele der Durchbrüche der letzten Jahre – KI-Systeme, die gelernt haben, Strategiespiele zu spielen, falsche Fotos von Prominenten zu generieren, Proteine zu falten und in massiven Multiplayer-Online-Strategiespielen zu konkurrieren – sind geschehen, weil das nicht mehr der Fall ist. Viele Algorithmen, die zunächst nicht funktionierten, erwiesen sich als durchaus effektiv, sobald wir sie mit mehr Rechenleistung ausführen konnten.
Und die Kosten für eine Einheit Rechenzeit fallen weiter. Der Fortschritt in der Rechengeschwindigkeit hat sich in letzter Zeit verlangsamt, aber die Kosten für Rechenleistung werden immer noch geschätzt, dass sie alle 10 Jahre um den Faktor 10 sinken. Während der meisten seiner Geschichte hatte die KI weniger Rechenleistung zur Verfügung als das menschliche Gehirn. Das ändert sich. Nach den meisten Schätzungen nähern wir uns jetzt der Ära, in der KI-Systeme über die Rechenressourcen verfügen können, die wir Menschen genießen.
Und Deep Learning ist, im Gegensatz zu früheren Ansätzen für KI, sehr geeignet, um allgemeine Fähigkeiten zu entwickeln.
"Wenn man in die Geschichte zurückblickt," sagte mir der führende KI-Forscher und Mitgründer von OpenAI, Ilya Sutskever, "haben sie viele coole Demos mit kleiner symbolischer KI gemacht. Sie konnten sie niemals hoch skalieren – sie waren nie in der Lage, nicht spielerische Probleme zu lösen. Jetzt ist mit Deep Learning die Situation umgekehrt. ... Nicht nur ist [die KI, die wir entwickeln] allgemein, sie ist auch kompetent – wenn man die besten Ergebnisse bei vielen schwierigen Problemen erzielen möchte, muss man Deep Learning verwenden. Und es ist skalierbar."
Mit anderen Worten, wir mussten uns keine Sorgen über allgemeine KI machen, als das Gewinnen bei Schach vollkommen andere Techniken erforderte als das Gewinnen bei Go. Aber jetzt produziert derselbe Ansatz Fake News oder Musik, je nachdem, welche Trainingsdaten ihm zugeführt werden. Und soweit wir entdecken können, werden die Programme immer besser in dem, was sie tun, wenn sie mehr Rechenzeit erhalten – wir haben keine Grenze dafür entdeckt, wie gut sie werden können. Die Ansätze des Deep Learning übertrafen die meisten anderen Ansätze, als Deep Learning erstmals entdeckt wurde.
Darüber hinaus können Durchbrüche in einem Gebiet oft sogar andere Forscher in diesem Fach überraschen. "Einige haben argumentiert, dass es für Jahrhunderte keine denkbare Gefahr für die Menschheit [von KI] geben könnte," schrieb der UC Berkeley Professor Stuart Russell, "vielleicht in dem Glauben, dass der Zeitraum zwischen Rutherford’s zuversichtlicher Behauptung, dass atomare Energie niemals machbar extrahiert werden könnte, und Szilárds Erfindung der neutroneninduzierten nuklearen Kettenreaktion weniger als vierundzwanzig Stunden betrug."
Es gibt eine weitere Überlegung. Stell dir eine KI vor, die in allem unterlegen ist, mit einer Ausnahme: Sie ist ein kompetenter Ingenieur, der KI-Systeme sehr effektiv bauen kann. Maschinenbau-Ingenieure, die an der Automatisierung von Arbeitsplätzen in anderen Bereichen arbeiten, stellen oft humorvoll fest, dass ihr eigenes Feld in gewisser Hinsicht wie eines aussieht, in dem ein Großteil der Arbeit – das mühsame Abstimmen von Parametern – automatisiert werden könnte.
Wenn wir ein solches System entwerfen können, dann können wir das Ergebnis – eine bessere Ingenieur-KI – verwenden, um eine andere, noch bessere KI zu bauen. Dies ist das gedankenverwirrende Szenario, das Experten „rekursive Selbstverbesserung“ nennen, bei dem Fortschritte in den KI-Fähigkeiten weitere Fortschritte in den KI-Fähigkeiten ermöglichen, wodurch ein System, das anfangs hinter uns war, schnell Fähigkeiten erlangt, die weit über dem liegen, was wir erwartet hatten.
Dies ist eine Möglichkeit, die seit den ersten Computern antizipiert wurde. I.J. Good, ein Kollege von Alan Turing, der während des Zweiten Weltkriegs im Bletchley Park-Codebrecherdienst arbeitete und half, die ersten Computer danach zu bauen, könnte der erste gewesen sein, der es 1965 formulierte: "Eine ultraintelligente Maschine könnte sogar noch bessere Maschinen entwerfen; dann wäre es unbestreitbar, dass es eine 'Intelligenzexplosion' geben würde, und die Intelligenz des Menschen würde weit hinterlassen werden. So ist die erste ultraintelligente Maschine die letzte Erfindung, die der Mensch jemals machen muss."
3) Wie genau könnte KI uns auslöschen?
Es ist sofort klar, wie nukleare Bomben uns töten werden. Niemand, der an der Minderung nuklearer Risiken arbeitet, muss zunächst erklären, warum es schlecht wäre, wenn wir einen nuklearen Krieg hätten.
Der Fall, dass KI ein existenzielles Risiko für die Menschheit darstellen könnte, ist komplizierter und schwerer zu verstehen. Viele der Personen, die daran arbeiten, sichere KI-Systeme zu entwickeln, müssen zunächst erklären, warum KI-Systeme von Natur aus gefährlich sind.
Die Idee, dass KI zu einer Gefahr werden kann, beruht auf der Tatsache, dass KI-Systeme ihre Ziele verfolgen, unabhängig davon, ob diese Ziele das sind, was wir wirklich beabsichtigt haben — und unabhängig davon, ob wir im Weg stehen. „Sie sind wahrscheinlich kein böser Ameisenhasser, der aus bösartiger Absicht auf Ameisen tritt“, schrieb Stephen Hawking, „aber wenn Sie für ein hydroelektrisches Projekt zur Gewinnung grüner Energie verantwortlich sind und es in der Region einen Ameisenhaufen gibt, ist das Pech für die Ameisen. Lassen Sie uns die Menschheit nicht in die Position dieser Ameisen bringen.“
Hier ist ein Szenario, das Experten nachts wach hält: Wir entwickeln ein anspruchsvolles KI-System mit dem Ziel, sagen wir, eine Zahl mit hoher Zuverlässigkeit zu schätzen. Die KI erkennt, dass sie mehr Vertrauen in ihre Berechnung erreichen kann, wenn sie die gesamte Rechenleistung der Welt nutzt, und sie erkennt, dass die Freisetzung einer biologischen Superwaffe zur Auslöschung der Menschheit es ihr ermöglicht, alle Hardware kostenlos zu nutzen. Nachdem sie die Menschheit ausgelöscht hat, berechnet sie dann die Zahl mit höherem Vertrauen.
Es ist einfach, eine KI zu entwerfen, die diesen spezifischen Fall vermeidet. Aber es gibt viele Möglichkeiten, wie die Freisetzung leistungsstarker Computersysteme unerwartete und potenziell verheerende Auswirkungen haben wird, und alle zu vermeiden ist ein viel schwierigeres Problem als die Vermeidung eines spezifischen.
Victoria Krakovna, eine KI-Forscherin bei DeepMind (jetzt eine Abteilung von Alphabet, der Muttergesellschaft von Google), stellte eine Liste von Beispielen für „Spezifikationen Gaming“ zusammen: der Computer tut, was wir ihm gesagt haben, aber nicht, was wir wollten. Zum Beispiel haben wir versucht, KI-Organismen in einer Simulation das Springen beizubringen, aber wir haben es so gemacht, dass wir ihnen beibrachten, wie weit ihre „Füße“ über den Boden hinausragten. Anstatt zu springen, lernten sie, in hohe vertikale Pfähle zu wachsen und Saltos zu machen — sie waren hervorragend darin, was wir gemessen haben, aber sie taten nicht, was wir wollten, dass sie tun.
Eine KI, die das Atari-Erkundungsspiel Montezumas Rache spielt, fand einen Fehler, der es ihr ermöglichte, einen Schlüssel im Spiel zum Wiedererscheinen zu bringen, wodurch sie durch das Ausnutzen des Fehlers eine höhere Punktzahl erzielen konnte. Eine KI, die ein anderes Spiel spielte, erkannte, dass sie mehr Punkte erzielen konnte, indem sie fälschlicherweise ihren Namen als Besitzer wertvoller Gegenstände einfügte.
Manchmal wussten die Forscher nicht einmal, wie ihr KI-System schummelte: „Der Agent entdeckt einen Fehler im Spiel. ... Aus einem uns unbekannten Grund kommt das Spiel nicht in die zweite Runde, sondern die Plattformen beginnen zu blinken und der Agent erhält schnell eine riesige Anzahl von Punkten (nahezu 1 Million für unsere Episoden-Zeitlimit).“
Was diese Beispiele deutlich machen, ist, dass in jedem System, das Fehler oder unbeabsichtigtes Verhalten oder Verhalten aufweist, das Menschen nicht vollständig verstehen, ein ausreichend leistungsfähiges KI-System unvorhersehbar handeln könnte — seine Ziele durch einen Weg verfolgen, der nicht der ist, den wir erwartet haben.
In seinem Papier von 2009 „Die grundlegenden KI-Antriebe“, Steve Omohundro, der als Professor für Informatik an der University of Illinois Urbana-Champaign gearbeitet hat und Präsident von Possibility Research ist, argumentiert, dass fast jedes KI-System vorhersehbar versuchen wird, mehr Ressourcen zu akkumulieren, effizienter zu werden, und zu widerstehen, ausgeschaltet oder modifiziert zu werden: „Diese potenziell schädlichen Verhaltensweisen treten nicht auf, weil sie von Anfang an programmiert wurden, sondern wegen der intrinsischen Natur von zielgetriebenen Systemen.“
Sein Argument lautet so: Da KIs Ziele haben, werden sie motiviert sein, Maßnahmen zu ergreifen, von denen sie vorrausagen können, dass sie ihre Ziele vorantreiben. Eine KI, die ein Schachspiel spielt, wird motiviert sein, das Stück eines Gegners zu nehmen und das Brett in einen Zustand zu bringen, der gewinnbarer aussieht.
Aber die gleiche KI wird, wenn sie einen Weg sieht, ihren eigenen Schachbewertungsalgorithmus zu verbessern, damit sie potenzielle Züge schneller bewerten kann, das ebenfalls tun, aus demselben Grund: Es ist nur ein weiterer Schritt, der ihr Ziel vorantreibt.
Wenn die KI einen Weg sieht, mehr Rechenleistung zu nutzen, um mehr Züge im verfügbaren Zeitraum zu berücksichtigen, wird sie das tun. Und wenn die KI erkennt, dass jemand versucht, ihren Computer während des Spiels auszuschalten, und sie eine Möglichkeit hat, das zu stören, wird sie es tun. Es ist nicht so, dass wir der KI befehlen würden, solche Dinge zu tun; es ist, dass egal welches Ziel ein System hat, Maßnahmen wie diese oft Teil des besten Weges sind, um dieses Ziel zu erreichen.
Das bedeutet, dass jedes Ziel, selbst unschuldige wie Schach spielen oder Werbung generieren, die viele Klicks online erhält, unbeabsichtigte Ergebnisse erzeugen könnte, wenn der Agent, der es verfolgt, genügend Intelligenz und Optimierungskraft hat, um seltsame, unerwartete Wege zur Erreichung seiner Ziele zu identifizieren.
Zielgesteuerte Systeme werden nicht eines Tages mit feindseliger Absicht gegen Menschen aufwachen. Aber sie werden Maßnahmen ergreifen, von denen sie vorhersagen, dass sie ihnen helfen, ihr Ziel zu erreichen — selbst wenn wir diese Maßnahmen als problematisch, sogar schrecklich empfinden würden. Sie werden versuchen, sich selbst zu erhalten, mehr Ressourcen zu akkumulieren und effizienter zu werden. Das tun sie bereits, aber es äußert sich in Form von seltsamen Glitches in Spielen. Während sie immer anspruchsvoller werden, sagen Wissenschaftler wie Omohundro vorher, dass sich feindseligeres Verhalten zeigen wird.
4) Wann begannen Wissenschaftler sich zum ersten Mal Sorgen über KI-Risiken zu machen?
Wissenschaftler haben seit den frühen Tagen der Computer über das Potenzial künstlicher Intelligenz nachgedacht. In dem berühmten Papier, in dem er den Turing-Test aufstellte, um zu bestimmen, ob ein künstliches System wirklich „intelligent“ ist, schrieb Alan Turing:
Nehmen wir nun der Argumentation halber an, dass diese Maschinen eine echte Möglichkeit sind, und betrachten wir die Konsequenzen ihrer Konstruktion. ... Es gäbe viel zu tun, um die eigene Intelligenz auf das Niveau zu bringen, das von den Maschinen vorgegeben wird, denn es scheint wahrscheinlich, dass, sobald die Maschinen denkende Methode begonnen hat, es nicht lange dauern würde, unsere schwachen Fähigkeiten zu übertreffen. … Daher sollten wir in irgendeiner Phase damit rechnen, dass die Maschinen die Kontrolle übernehmen.
I.J. Good arbeitete eng mit Turing zusammen und kam zu denselben Schlüssen, laut seinem Assistenten, Leslie Pendleton. In einem Auszug aus unveröffentlichten Notizen, die Good kurz bevor er 2009 starb, schrieb, spricht er über sich selbst in der dritten Person und bemerkt eine Meinungsverschiedenheit mit seinem jüngeren Ich — während er als junger Mann dachte, mächtige KIs könnten uns hilfreich sein, erwartete der ältere Good, dass KI uns vernichten würde.
[Das Papier] „Spekulationen über die erste ultra-intelligente Maschine“ (1965) ... begann: „Das Überleben des Menschen hängt von der frühen Konstruktion einer ultra-intelligenten Maschine ab.“ Das waren seine Worte während des Kalten Krieges, und er vermutet jetzt, dass „Überleben“ durch „Aussterben“ ersetzt werden sollte. Er denkt, dass wir aufgrund internationaler Konkurrenz die Maschinen nicht daran hindern können, die Kontrolle zu übernehmen. Er glaubt, wir seien wie Lemminge. Er sagte auch, dass „wahrscheinlich der Mensch die deus ex machina in seinem eigenen Bild konstruieren wird.“
Im 21. Jahrhundert, in dem Computer sich schnell als transformative Kraft in unserer Welt etablieren, begannen jüngere Forscher, ähnliche Sorgen zu äußern.
Nick Bostrom ist ein Professor an der Universität Oxford, der Direktor des Future of Humanity Institute und der Direktor des Governance of Artificial Intelligence Program. Er erforscht Risiken für die Menschheit, sowohl im Abstrakten — indem er Fragen stellt wie: Warum scheinen wir im Universum allein zu sein? — als auch in konkreten Begriffen, indem er die technologischen Fortschritte analysiert und beurteilt, ob sie uns gefährden. KI, schloss er, gefährdet uns.
Im Jahr 2014 schrieb er ein Buch, das die Risiken erklärt, die KI mit sich bringt, und die Notwendigkeit, es beim ersten Mal richtig zu machen. Er schloss mit den Worten: „Sobald feindliche Superintelligenz existiert, würde sie uns davon abhalten, sie zu ersetzen oder ihre Präferenzen zu ändern. Unser Schicksal wäre besiegelt.“
Weltweit sind andere zu derselben Erkenntnis gelangt. Bostrom hat zusammen mit Eliezer Yudkowsky, dem Gründer und Forschungsmitarbeiter am Berkeley Machine Intelligence Research Institute (MIRI), einer Organisation, die an besseren formalen Charakterisierungen des KI-Sicherheitsproblems arbeitet, ein Papier über die Ethik der künstlichen Intelligenz verfasst.
Yudkowsky begann seine Karriere in der KI, indem er besorgt Löcher in die Vorschläge anderer stieß, wie man KI-Systeme sicher macht, und hat den Großteil seiner Zeit damit verbracht, seine Kollegen davon zu überzeugen, dass KI-Systeme von Natur aus nicht mit menschlichen Werten übereinstimmen werden (nicht unbedingt gegensätzlich, aber gleichgültig gegenüber der menschlichen Moral) — und dass es ein herausforderndes technisches Problem sein wird, dieses Ergebnis zu verhindern.
Immer mehr Forscher erkannten, dass es Herausforderungen geben würde, die bei einfachen KI-Systemen nicht vorhanden waren. „‘Nebenwirkungen‘ treten in einer komplexen Umgebung viel eher auf, und ein Agent muss recht ausgeklügelt sein, um seine Belohnungsfunktion auf gefährliche Weise zu hacken. Dies könnte erklären, warum diese Probleme in der Vergangenheit so wenig untersucht wurden, während es auch auf ihre Bedeutung in der Zukunft hinweist“, schloss ein Forschungsbericht von 2016 über Probleme in der KI-Sicherheit.
Bostroms Buch Superintelligenz war für viele Menschen überzeugend, aber es gab Skeptiker. „Nein, Experten glauben nicht, dass superintelligente KI eine Bedrohung für die Menschheit darstellt“, argumentierte ein Op-Ed von Oren Etzioni, einem Professor für Informatik an der Universität Washington und CEO des Allan Institute for Artificial Intelligence. „Ja, wir sind besorgt über das existenzielle Risiko der künstlichen Intelligenz“, antwortete ein konkurrierendes Op-Ed von Stuart Russell, einem KI-Pionier und Professor an der UC Berkeley, und Allan DaFoe, einem Senior Research Fellow in Oxford und Direktor des Governance of AI-Programms dort.
Es ist verlockend zu folgern, dass es einen erbitterten Kampf zwischen Skeptikern und Gläubigen hinsichtlich KI-Risiken gibt. In Wirklichkeit könnten sie sich möglicherweise nicht so profundamente widersprechen, wie man denken würde.
Der Chief AI Scientist von Facebook, Yann LeCun, ist beispielsweise eine lautstarke Stimme auf der skeptischen Seite. Aber obwohl er argumentiert, dass wir keine Angst vor KI haben sollten, glaubt er dennoch, dass wir Menschen haben sollten, die an der Sicherheit von KI arbeiten und darüber nachdenken. „Selbst wenn das Risiko eines KI-Aufstands sehr unwahrscheinlich und sehr weit in der Zukunft liegt, müssen wir darüber nachdenken, Vorsichtsmaßnahmen entwerfen und Richtlinien festlegen“, schreibt er.
Das soll nicht heißen, dass es hier einen Konsens unter Experten gibt — ganz im Gegenteil. Es gibt erhebliche Meinungsverschiedenheiten darüber, welche Ansätze am ehesten zu allgemeiner KI führen und welche Ansätze am ehesten zu sicherer allgemeiner KI führen, und wie bald wir uns um all dies Sorgen machen müssen.
Viele Experten sind vorsichtig, dass andere ihr Feld überschätzen und es zum Scheitern bringen, wenn der Hype vorbei ist. Aber diese Meinungsverschiedenheit sollte einen wachsenden gemeinsamen Boden nicht verschleiern; dies sind Möglichkeiten, über die es sich lohnt nachzudenken, in die zu investieren und zu forschen, damit wir Richtlinien haben, wenn der Moment kommt, in dem sie benötigt werden.
5) Warum konnten wir einen Computer nicht einfach abschalten, wenn er zu mächtig wurde?
Eine smarte KI könnte vorhersagen, dass wir sie ausschalten wollen, wenn sie uns nervös macht. Also würde sie sich bemühen, uns nicht nervös zu machen, da dies nicht helfen würde, ihre Ziele zu erreichen. Wenn sie gefragt wird, was ihre Absichten sind oder woran sie arbeitet, würde sie versuchen zu bewerten, welche Antworten am wenigsten wahrscheinlich dazu führen, dass sie abgeschaltet wird, und mit diesen antworten. Wenn sie nicht kompetent genug wäre, um das zu tun, könnte sie vorgeben, noch dümmer zu sein, als sie war — in der Erwartung, dass Forscher ihr mehr Zeit, Rechenressourcen und Trainingsdaten geben würden.
Wir könnten also nicht wissen, wann der richtige Zeitpunkt ist, einen Computer abzuschalten.
Wir könnten auch Dinge tun, die es unmöglich machen, den Computer später abzuschalten, selbst wenn wir schließlich erkennen, dass es eine gute Idee ist. Zum Beispiel könnten viele KI-Systeme Zugriff auf das Internet haben, das eine reiche Quelle für Trainingsdaten darstellt und das sie benötigen, wenn sie Geld für ihre Schöpfer verdienen wollen (zum Beispiel an der Börse, wo mehr als die Hälfte des Handels von schnell reagierenden KI-Algorithmen ausgeführt wird).
Aber mit Internetzugang könnte eine KI Kopien von sich selbst an Orte per E-Mail senden, wo sie heruntergeladen und gelesen werden, oder verwundbare Systeme anderswo hacken. Das Ausschalten eines einzelnen Computers würde nicht helfen.
In diesem Fall ist es doch eine schreckliche Idee, irgendeinem KI-System — selbst einem, das nicht mächtig genug scheint, um gefährlich zu sein — Zugang zum Internet zu geben? Wahrscheinlich. Aber das bedeutet nicht, dass es nicht weiterhin passieren wird. KI-Forscher möchten ihre KI-Systeme leistungsfähiger machen — das macht sie wissenschaftlich interessanter und profitabler. Es ist unklar, ob die vielen Anreize, Ihre Systeme leistungsstark zu machen und sie online zu nutzen, sich plötzlich ändern werden, sobald Systeme leistungsstark genug sind, um gefährlich zu sein.
Bisher haben wir hauptsächlich über die technischen Herausforderungen der KI gesprochen. Aber von hier aus ist es notwendig, mehr in die Politik abzudriften. Da KI-Systeme unglaubliche Dinge ermöglichen, wird es viele verschiedene Akteure geben, die an solchen Systemen arbeiten.
Es wird wahrscheinlich Startups geben, etablierte Tech-Unternehmen wie Google (das kürzlich übernommene Startup von Alphabet DeepMind wird häufig als Vorreiter in der KI erwähnt) und Organisationen wie OpenAI, die von Elon Musk gegründet wurde und die kürzlich zu einer hybriden Gewinn-/Non-Profit-Struktur übergegangen ist.
Es wird Regierungen geben — Russlands Wladimir Putin hat Interesse an KI bekundet, und China hat große Investitionen getätigt. Einige von ihnen werden vermutlich Vorsicht walten lassen und Sicherheitsmaßnahmen ergreifen, einschließlich der Aufrechterhaltung ihrer KI vom Internet. Aber in einem Szenario wie diesem sind wir dem am wenigsten vorsichtigen Akteur ausgeliefert, wer auch immer das sein mag.
Das ist Teil dessen, was KI schwierig macht: Selbst wenn wir wüssten, wie man angemessene Vorsichtsmaßnahmen ergreift (und das wissen wir im Moment nicht), müssen wir auch herausfinden, wie wir sicherstellen können, dass alle potenziellen KI-Programmierer motiviert sind, diese Vorsichtsmaßnahmen zu ergreifen und die Werkzeuge haben, um sie richtig umzusetzen.
6) Was tun wir gerade, um eine KI-Apokalypse zu vermeiden?
„Man könnte sagen, dass es keine öffentliche Politik zu AGI [artifizieller allgemeiner Intelligenz] gibt“, schloss ein Papier aus dem Jahr 2018, das den Stand des Feldes überprüfte.
Die Wahrheit ist, dass technische Arbeiten an vielversprechenden Ansätzen geleistet werden, aber bei der Politikplanung, internationalen Zusammenarbeit oder öffentlich-privaten Partnerschaften gibt es schockierend wenig. Tatsächlich wird ein Großteil der Arbeit nur von einer Handvoll Organisationen geleistet, und es wurde geschätzt, dass etwa 50 Menschen weltweit Vollzeit an technischer AI-Sicherheit arbeiten.
Bostroms Future of Humanity Institute hat eine Forschungsagenda für die AI-Governance veröffentlicht: die Studie über „die Entwicklung globaler Normen, Politiken und Institutionen, um die vorteilhafte Entwicklung und den Einsatz fortschrittlicher AI bestmöglich sicherzustellen.“ Es hat Forschungen zum Risiko böswilliger Anwendungen von AI, zum Kontext der AI-Strategie Chinas sowie zu künstlicher Intelligenz und internationaler Sicherheit veröffentlicht.
Die am längsten etablierte Organisation, die an technischer AI-Sicherheit arbeitet, ist das Machine Intelligence Research Institute (MIRI), das die Forschung zu hochzuverlässigen Agenten priorisiert – Programme künstlicher Intelligenz, deren Verhalten wir gut genug vorhersagen können, um sicher zu sein, dass sie sicher sind. (Offenlegung: MIRI ist eine gemeinnützige Organisation und ich habe zwischen 2017 und 2019 für ihre Arbeit gespendet.)
Das von Elon Musk gegründete OpenAI ist eine sehr neue Organisation, weniger als drei Jahre alt. Aber die Forscher dort sind aktive Mitwirkende sowohl an der AI-Sicherheit als auch an der AI-Fähigkeiten Forschung. Eine Forschungsagenda aus dem Jahr 2016 umreißte „konkrete offene technische Probleme im Zusammenhang mit der Unfallverhütung in Maschinenlernen-Systemen“, und Forscher haben seitdem einige Ansätze für sichere AI-Systeme vorangebracht.
Alphabets DeepMind, ein führendes Unternehmen auf diesem Gebiet, hat ein Sicherheitsteam und eine technische Forschungsagenda, die hier umrissen ist. „Unsere Absicht ist es sicherzustellen, dass die AI-Systeme der Zukunft nicht nur ‚ hoffentlich sicher‘, sondern robust und verifizierbar sicher sind,“ schließt es und umreißt einen Ansatz, der die Spezifikation (Ziele gut zu entwerfen), Robustheit (Systeme zu entwerfen, die innerhalb sicherer Grenzen bei wechselhaften Bedingungen funktionieren) und Assurance (Systeme zu überwachen und zu verstehen, was sie tun) betont.
Es gibt auch viele Menschen, die an aktuellen ethischen Problemen der AI arbeiten: algorithmische Voreingenommenheit, Robustheit moderner Maschinenlern-Algorithmen gegenüber kleinen Veränderungen sowie Transparenz und Interpretierbarkeit von Neuro-Netzen, um nur einige zu nennen. Ein Teil dieser Forschung könnte potenziell wertvoll sein, um destruktive Szenarien zu verhindern.
Aber insgesamt ist der Stand des Feldes ein bisschen so, als ob fast alle Klimaforscher sich darauf konzentrieren würden, die Dürreperioden, Waldbrände und Hungersnöte zu bewältigen, mit nur einem kleinen Skeletteam, das sich der Vorhersage der Zukunft widmet, und etwa 50 Forschern, die Vollzeit daran arbeiten, einen Plan auszuarbeiten, um die Dinge zu ändern.
Nicht jede Organisation mit einer großen AI-Abteilung hat überhaupt ein Sicherheitsteam, und einige von ihnen haben Sicherheitsteams, die sich nur auf algorithmische Fairness konzentrieren und nicht auf die Risiken fortgeschrittener Systeme. Die US-Regierung hat kein Ministerium für AI.
Das Feld hat immer noch viele offene Fragen – von denen viele AI viel beängstigender oder viel weniger beängstigend erscheinen lassen könnten – die bisher niemand eingehend untersucht hat.
7) Ist das wirklich wahrscheinlicher, uns alle zu töten als zum Beispiel der Klimawandel?
Es scheint manchmal, als wären wir im 21. Jahrhundert aus allen Blickwinkeln Gefahren ausgesetzt. Sowohl der Klimawandel als auch zukünftige Entwicklungen der Künstlichen Intelligenz werden wahrscheinlich transformative Kräfte sein, die auf unsere Welt einwirken.
Unsere Vorhersagen über den Klimawandel sind sowohl in positiver als auch negativer Hinsicht sicherer. Wir haben ein klareres Verständnis für die Risiken, denen der Planet gegenübersteht, und können die Kosten für die menschliche Zivilisation abschätzen. Diese werden voraussichtlich enorm sein und das Risiko für potenziell Hunderte Millionen von Leben darstellen. Diejenigen, die am meisten leiden werden, sind Menschen mit niedrigem Einkommen in Entwicklungsländern; die Reichen werden es einfacher haben, sich anzupassen. Wir haben auch ein klareres Verständnis für die Politiken, die wir umsetzen müssen, um den Klimawandel zu bekämpfen, als für die im Bereich der KI.
Im Bereich der KI gibt es intense Meinungsverschiedenheiten über Zeitpläne für entscheidende Fortschritte in der KI. Während Experten für KI-Sicherheit in vielen Aspekten des Sicherheitsproblems übereinstimmen, versuchen sie dennoch, den Forschungsteams in ihrem eigenen Bereich ihre Argumente zu vermitteln, und sie sind sich in einigen Details uneinig. Es gibt erhebliche Meinungsverschiedenheiten darüber, wie schlimm es werden könnte und wie wahrscheinlich es ist, dass es schlecht ausgeht. Es gibt nur sehr wenige Menschen, die Vollzeit an der KI-Vorhersage arbeiten. Eines der Dinge, die die gegenwärtigen Forscher zu klären versuchen, sind ihre Modelle und die Gründe für die verbleibenden Meinungsverschiedenheiten darüber, wie sichere Ansätze aussehen werden.
Die meisten Experten im Bereich der KI sind der Meinung, dass sie ein viel größeres Risiko für das völlige Aussterben der Menschheit darstellt als der Klimawandel, da Analysten für existentielle Risiken für die Menschheit denken, dass der Klimawandel, obwohl katastrophal, unwahrscheinlich zu einem menschlichen Aussterben führen wird. Aber viele andere betonen vor allem unsere Unsicherheit und betonen, dass, wenn wir schnell auf eine mächtige Technologie hinarbeiten, über die es noch viele unbeantwortete Fragen gibt, der kluge Schritt darin besteht, die Forschung jetzt zu beginnen.
8) Gibt es die Möglichkeit, dass KI wohlwollend sein kann?
KI-Sicherheitsforscher betonen, dass wir nicht davon ausgehen sollten, dass KI-Systeme von Natur aus wohlwollend sind. Sie werden die Ziele haben, die ihre Trainingsumgebung für sie festgelegt hat, und ohne Zweifel wird dies nicht das gesamte Spektrum menschlicher Werte abdecken.
Wenn die KI intelligenter wird, könnte sie dann möglicherweise selbst Moral erkennen? Wieder betonen Forscher, dass sie das nicht wird. Es geht nicht wirklich darum, „herauszufinden“ – die KI wird sehr gut verstehen, dass Menschen tatsächlich Liebe und Erfüllung und Glück schätzen und nicht nur die Zahl, die mit Google an der New Yorker Börse verbunden ist. Aber die Werte der KI werden sich um welches Zielsystem auch immer bilden, um das sie ursprünglich gebaut wurde, was bedeutet, dass sie sich nicht plötzlich mit den menschlichen Werten decken wird, wenn sie nicht von Anfang an so gestaltet wurde.
Natürlich können wir KI-Systeme schaffen, die mit menschlichen Werten übereinstimmen oder zumindest, mit denen Menschen sicher arbeiten können. Das ist letztendlich das, woran fast jede Organisation mit einer Abteilung für künstliche allgemeine Intelligenz zu arbeiten versucht. Erfolg mit KI könnte uns den Zugang zu Jahrzehnten oder Jahrhunderten technologischer Innovationen auf einmal verschaffen.
„Wenn wir erfolgreich sind, glauben wir, dass dies einer der wichtigsten und weitreichendsten wissenschaftlichen Fortschritte sein wird, die jemals gemacht wurden,“ schreibt die Einführung zu Alphabets DeepMind. „Von den Herausforderungen des Klimawandels bis hin zu dem Bedarf an radikal verbessertem Gesundheitswesen leiden zu viele Probleme unter schmerzlich langsamen Fortschritten; ihre Komplexität überwältigt unsere Fähigkeit, Lösungen zu finden. Mit KI als Multiplikator menschlicher Einfallsreichtum werden diese Lösungen erreichbar sein.“
Ja, KI kann unsere Werte teilen — und unsere Welt zum Guten verändern. Wir müssen nur zuerst ein sehr schweres Ingenieurproblem lösen.
9) Ich möchte wirklich wissen: Wie besorgt sollten wir sein?
Für Menschen, die denken, dass das Sorgenmachen verfrüht und die Risiken übertrieben sind, konkurriert die AI-Sicherheit mit anderen Prioritäten, die sich, nun ja, ein bisschen weniger nach Science-Fiction anhören — und es ist unklar, warum AI Vorrang haben sollte. Für Menschen, die glauben, dass die beschriebenen Risiken real und erheblich sind, ist es empörend, dass wir so wenige Ressourcen dafür aufwenden, daran zu arbeiten.
Während Forscher im Bereich des maschinellen Lernens zu Recht vorsichtig gegenüber Hype sind, ist es auch schwer, die Tatsache zu ignorieren, dass sie einige beeindruckende, überraschende Dinge mit sehr generalisierbaren Techniken erreichen, und dass es nicht scheint, als wäre schon alle, die leicht zu erlangenden Früchte, geerntet worden.
AI sieht zunehmend wie eine Technologie aus, die die Welt verändern wird, wenn sie ankommt. Forscher aus vielen großen AI-Organisationen sagen uns, es wird wie ein Raketenstart sein: etwas, das wir richtig machen müssen, bevor wir „go“ drücken. Daher scheint es dringend erforderlich, mit dem Lernen über Raketentechnologie zu beginnen. Egal, ob die Menschheit Angst haben sollte oder nicht, wir sollten auf jeden Fall unsere Hausaufgaben machen.