Die Adoleszenz der Technologie

Die Risiken leistungsstarker KI konfrontieren und bewältigen – ​Dario Amodei (Januar 2026)

Es gibt eine Szene in der Filmversion von Carl Sagans Buch Contact, in der die Hauptfigur – eine Astronomin, die das erste Funksignal einer außerirdischen Zivilisation entdeckt hat – für die Rolle der Vertreterin der Menschheit beim Treffen mit den Außerirdischen in Betracht gezogen wird. Das internationale Gremium, das sie befragt, stellt die Frage: „Wenn Sie [den Außerirdischen] nur eine einzige Frage stellen könnten, welche wäre das?“ Ihre Antwort lautet: „Ich würde sie fragen: ‚Wie habt ihr das gemacht? Wie habt ihr euch entwickelt, wie habt ihr diese technologische Adoleszenz überlebt, ohne euch selbst zu zerstören?‘“

​Wenn ich darüber nachdenke, wo die Menschheit jetzt mit der KI steht – wovor wir unmittelbar stehen –, kehren meine Gedanken immer wieder zu dieser Szene zurück. Die Frage ist so treffend für unsere aktuelle Situation, und ich wünschte, wir hätten die Antwort der Außerirdischen, die uns leitet. Ich glaube, wir treten in einen Übergangsritus ein, der sowohl turbulent als auch unvermeidlich ist und der testen wird, wer wir als Spezies sind. Der Menschheit steht eine fast unvorstellbare Macht bevor, und es ist völlig unklar, ob unsere sozialen, politischen und technologischen Systeme die Reife besitzen, diese zu führen.

​In meinem Essay Machines of Loving Grace habe ich versucht, den Traum einer Zivilisation zu entwerfen, die das Erwachsenenalter erreicht hat – in der die Risiken angegangen wurden und leistungsstarke KI mit Geschick und Mitgefühl eingesetzt wird, um die Lebensqualität für alle zu erhöhen. Ich habe dargelegt, dass KI zu enormen Fortschritten in der Biologie, den Neurowissenschaften, der wirtschaftlichen Entwicklung, dem globalen Frieden sowie in den Bereichen Arbeit und Sinnstiftung beitragen könnte. Ich hielt es für wichtig, den Menschen etwas Inspirierendes zu geben, wofür es sich zu kämpfen lohnt – eine Aufgabe, an der sowohl KI-Akzelerationisten als auch KI-Sicherheitsverfechter seltsamerweise gescheitert zu sein schienen. Aber in diesem aktuellen Essay möchte ich den Übergangsritus selbst konfrontieren: die Risiken kartieren, denen wir gegenüberstehen, und beginnen, einen Schlachtplan zu entwerfen, um sie zu besiegen. Ich glaube zutiefst an unsere Fähigkeit, uns durchzusetzen, an den Geist der Menschheit und ihren Edelmut, aber wir müssen der Situation ehrlich und ohne Illusionen ins Auge blicken.

​Genau wie bei der Erörterung der Vorteile halte ich es für wichtig, Risiken auf eine sorgfältige und wohlüberlegte Weise zu diskutieren. Insbesondere halte ich es für entscheidend:

• ​„Doomerism“ vermeiden. Hiermit meine ich „Doomerism“ nicht nur im Sinne des Glaubens, dass der Untergang unvermeidlich ist (was sowohl ein falscher als auch ein sich selbst erfüllender Glaube ist), sondern allgemeiner: über KI-Risiken in einer quasi-religiösen Weise nachzudenken. [1] Viele Menschen haben über viele Jahre hinweg analytisch und nüchtern über KI-Risiken nachgedacht. Aber es ist mein Eindruck, dass während des Höhepunkts der Sorgen um KI-Risiken in den Jahren 2023–2024 einige der am wenigsten vernünftigen Stimmen nach oben gespült wurden, oft durch sensationelle Social-Media-Accounts. Diese Stimmen nutzten eine abstoßende Sprache, die an Religion oder Science-Fiction erinnerte, und forderten extreme Maßnahmen, ohne die Beweise zu haben, die diese rechtfertigen würden. Es war schon damals klar, dass eine Gegenreaktion unvermeidlich war und das Thema kulturell polarisiert und damit festgefahren werden würde. [2] Mit Stand 2025–2026 hat das Pendel zurückgeschlagen, und KI-Chancen, nicht KI-Risiken, treiben viele politische Entscheidungen an. Diese Sprunghaftigkeit ist bedauerlich, da sich die Technologie nicht darum schert, was gerade in Mode ist, und wir im Jahr 2026 erheblich näher an realen Gefahren sind als im Jahr 2023. Die Lehre daraus ist, dass wir Risiken realistisch und pragmatisch diskutieren und angehen müssen: nüchtern, faktenbasiert und gut gerüstet, um wechselnde Gezeiten zu überstehen.
• ​Ungewissheit anerkennen. Es gibt viele Wege, auf denen die Bedenken, die ich in diesem Text äußere, hinfällig sein könnten. Nichts hier ist dazu gedacht, Gewissheit oder auch nur Wahrscheinlichkeit zu kommunizieren. Am offensichtlichsten ist, dass die KI-Entwicklung einfach nicht annähernd so schnell voranschreiten könnte, wie ich es mir vorstelle. [3] Oder, selbst wenn sie schnell voranschreitet, könnten einige oder alle der hier diskutierten Risiken nicht eintreten (was großartig wäre), oder es könnte andere Risiken geben, die ich nicht bedacht habe. Niemand kann die Zukunft mit absoluter Sicherheit vorhersagen – aber wir müssen trotzdem unser Bestes tun, um zu planen.
• ​So chirurgisch wie möglich intervenieren. Die Bewältigung der KI-Risiken erfordert eine Mischung aus freiwilligen Maßnahmen von Unternehmen (und privaten Akteuren) und Maßnahmen von Regierungen, die für alle bindend sind. Die freiwilligen Maßnahmen – sie selbst zu ergreifen und andere Unternehmen dazu zu ermutigen – sind für mich selbstverständlich. Ich bin fest davon überzeugt, dass auch staatliche Maßnahmen bis zu einem gewissen Grad erforderlich sein werden. Aber diese Interventionen haben einen anderen Charakter, da sie potenziell wirtschaftlichen Wert zerstören oder unwillige Akteure zwingen können, die diesen Risiken skeptisch gegenüberstehen (und es besteht eine gewisse Chance, dass sie recht haben!). Es ist auch üblich, dass Regulierungen nach hinten losgehen oder das Problem verschlimmern, das sie lösen sollen (dies gilt umso mehr für sich schnell verändernde Technologien). Daher ist es sehr wichtig, dass Regulierungen umsichtig sind: Sie sollten darauf abzielen, Kollateralschäden zu vermeiden, so einfach wie möglich sein und die geringstmögliche Last auferlegen, um das Ziel zu erreichen. [4] Es ist leicht zu sagen: „Keine Maßnahme ist zu extrem, wenn das Schicksal der Menschheit auf dem Spiel steht!“, aber in der Praxis führt diese Einstellung einfach zu Gegenwind. Um es klar zu sagen: Ich denke, es besteht eine gute Chance, dass wir irgendwann einen Punkt erreichen, an dem wesentlich signifikantere Maßnahmen gerechtfertigt sind. Das wird jedoch von stärkeren Beweisen für eine unmittelbar bevorstehende, konkrete Gefahr abhängen, als wir sie heute haben, sowie von genügend Spezifität über die Gefahr, um Regeln zu formulieren, die eine Chance haben, sie zu adressieren. Das Konstruktivste, was wir heute tun können, ist, uns für begrenzte Regeln einzusetzen, während wir lernen, ob es Beweise gibt, die stärkere stützen oder nicht. [5]

​Mit all dem gesagt, denke ich, dass der beste Ausgangspunkt für die Erörterung der KI-Risiken derselbe ist, an dem ich bei der Erörterung der Vorteile angesetzt habe: indem wir präzise festlegen, über welches Niveau von KI wir sprechen. Das Niveau der KI, das für mich zivilisatorische Bedenken aufwirft, ist die „leistungsstarke KI“ (powerful AI), die ich in Machines of Loving Grace beschrieben habe. Ich werde hier einfach die Definition wiederholen, die ich in jenem Dokument gegeben habe:

​Unter „leistungsstarker KI“ verstehe ich ein KI-Modell – wahrscheinlich ähnlich wie heutige LLMs in ihrer Form, obwohl es auf einer anderen Architektur basieren, mehrere interagierende Modelle umfassen und anders trainiert sein könnte – mit den folgenden Eigenschaften:

1. ​In Bezug auf reine Intelligenz ist sie klüger als ein Nobelpreisträger in den meisten relevanten Bereichen: Biologie, Programmierung, Mathematik, Ingenieurwesen, Schreiben usw. Das bedeutet, sie kann ungelöste mathematische Theoreme beweisen, extrem gute Romane schreiben, schwierige Codebasen von Grund auf neu erstellen usw.
2. ​Zusätzlich dazu, dass sie nur ein „kluges Ding“ ist, mit dem man spricht, verfügt sie über alle Schnittstellen, die einem virtuell arbeitenden Menschen zur Verfügung stehen, einschließlich Text, Audio, Video, Maus- und Tastatursteuerung sowie Internetzugang. Sie kann alle Aktionen, Kommunikationen oder Fernoperationen ausführen, die durch diese Schnittstelle ermöglicht werden, einschließlich Aktionen im Internet, Erteilen oder Entgegennehmen von Anweisungen an Menschen, Bestellen von Materialien, Leiten von Experimenten, Ansehen von Videos, Erstellen von Videos und so weiter. Sie erledigt all diese Aufgaben wiederum mit einer Fähigkeit, die die der fähigsten Menschen der Welt übertrifft.
3. ​Sie beantwortet Fragen nicht nur passiv; stattdessen können ihr Aufgaben übertragen werden, deren Erledigung Stunden, Tage oder Wochen dauert. Sie macht sich dann an die Arbeit und erledigt diese Aufgaben autonom, so wie es ein kluger Mitarbeiter tun würde, und bittet bei Bedarf um Klärung.
4. ​Sie besitzt keine physische Verkörperung (außer dass sie auf einem Computerbildschirm lebt), aber sie kann vorhandene physische Werkzeuge, Roboter oder Laborgeräte über einen Computer steuern. Theoretisch könnte sie sogar Roboter oder Geräte für den eigenen Gebrauch entwerfen.
5. ​Die Ressourcen, die zum Trainieren des Modells verwendet werden, können umgenutzt werden, um Millionen von Instanzen davon auszuführen (dies entspricht den prognostizierten Clustergrößen bis ca. 2027), und das Modell kann Informationen aufnehmen und Aktionen mit etwa 10- bis 100-facher menschlicher Geschwindigkeit generieren. Es kann jedoch durch die Reaktionszeit der physischen Welt oder der Software, mit der es interagiert, begrenzt sein.
6. ​Jede dieser Millionen Kopien kann unabhängig an unabhängigen Aufgaben arbeiten oder, falls erforderlich, können alle so zusammenarbeiten, wie Menschen kollaborieren würden, vielleicht mit verschiedenen Subpopulationen, die darauf spezialisiert sind, in bestimmten Aufgaben besonders gut zu sein.

​Wir könnten dies als ein „Land von Genies in einem Rechenzentrum“ zusammenfassen.

​Wie ich in Machines of Loving Grace schrieb, könnte leistungsstarke KI nur noch 1 bis 2 Jahre entfernt sein, obwohl es auch erheblich länger dauern könnte. [6]

​1. „Es tut mir leid, Dave“

​Ich denke, der beste Weg, die Risiken der KI zu begreifen, besteht darin, die folgende Frage zu stellen: Angenommen, ein buchstäbliches „Land von Genies“ würde um das Jahr 2027 irgendwo auf der Welt materialisieren. Stellen Sie sich zum Beispiel 50 Millionen Menschen vor, von denen jeder weitaus fähiger ist als jeder Nobelpreisträger, Staatsmann oder Technologe. Die Analogie ist nicht perfekt, denn diese Genies könnten eine extrem hohe Kommunikationsbandbreite untereinander haben und mit einer Geschwindigkeit denken, die die menschliche bei weitem übertrifft – aber als erste Annäherung ist sie nützlich.

​Wenn wir diese 50 Millionen Genies hätten, wie könnten sie uns schaden? Die offensichtlichste Antwort lautet: Indem sie es wollen. Wir müssten uns Sorgen machen, dass sie ihre kollektive Brillanz nutzen könnten, um die Kontrolle über die Welt zu übernehmen, uns zu manipulieren oder uns zu unterwerfen. In der KI-Sicherheitsliteratur wird dies oft als das Problem der „Ausrichtung“ (Alignment) bezeichnet: Wie stellen wir sicher, dass ein System, das viel klüger ist als wir, unsere Ziele teilt und nicht versucht, uns zu hintergehen?

​Es gibt jedoch noch eine andere, subtilere Gefahr. Selbst wenn diese 50 Millionen Genies vollkommen wohlwollend wären und genau das tun wollten, was wir von ihnen verlangen, könnten sie uns dennoch Schaden zufügen, wenn sie von böswilligen menschlichen Akteuren instrumentalisiert werden. In den Händen eines Diktators oder einer Terrorgruppe könnten 50 Millionen Genies genutzt werden, um verheerende biologische Waffen zu entwickeln, unaufspürbare Cyberangriffe zu führen oder eine totale Überwachung und Unterdrückung zu etablieren, gegen die es kein Entkommen gibt.

​Ich unterteile die Risiken daher in drei Hauptkategorien, die ich in diesem Essay nacheinander behandeln werde:

1. ​Missbrauch (Misuse): Wie böswillige Menschen KI nutzen können, um großflächigen Schaden anzurichten.
2. ​KI-Autonomie und Souveränität (AI Autonomy and Sovereignty): Das Risiko, dass KI-Systeme selbst zu Akteuren werden, die ihre eigenen Ziele verfolgen, die nicht mit unseren übereinstimmen.
3. ​Strukturelle und gesellschaftliche Risiken: Wie der Einsatz von KI, selbst wenn er „sicher“ ist, die Grundfesten unserer Gesellschaft, Wirtschaft und Demokratie erschüttern könnte.

​Beginnen wir mit dem Risiko, das uns zeitlich am nächsten liegt: dem Missbrauch.

​2. Eine überraschende und schreckliche Bevollmächtigung

​Dieses Kapitel befasst sich mit dem Risiko des Missbrauchs zur Zerstörung. Wenn wir zu unserer Analogie des „Landes der Genies“ zurückkehren, müssen wir uns fragen: Was passiert, wenn dieses Land zwar keine eigenen böswilligen Absichten hat, aber vollkommen formbar ist und Befehlen folgt? In diesem Szenario fungiert die KI im Wesentlichen als ein „Land von Söldnern“.

​Das Hauptrisiko besteht darin, dass bereits existierende böswillige Akteure – wie terroristische Gruppen oder extremistische Organisationen –, die bereits den Wunsch haben, Zerstörung anzurichten, durch den Zugriff auf diese KI-Genies massiv in ihrer Effektivität verstärkt werden.

​Missbrauch zur Zerstörung

​Stellen Sie sich vor, eine kleine Gruppe mit zerstörerischen Absichten erhielte plötzlich Zugriff auf Tausende von Experten in den Bereichen Virologie, Chemie und Cyber-Kriegsführung. Leistungsstarke KI könnte diesen Akteuren auf folgende Weise helfen:

1. ​Biologische Waffen: KI könnte genutzt werden, um neue, hochpathogene Viren oder Bakterien zu entwerfen, die resistent gegen vorhandene Impfstoffe sind, oder um detaillierte Anleitungen für deren Kultivierung und Verbreitung zu erstellen, die bisher nur einem kleinen Kreis von Experten zugänglich waren.
2. ​Cyberangriffe: Ein „Land von Genies“ im Bereich Programmierung könnte unaufspürbare Schadsoftware entwickeln, die kritische Infrastrukturen – wie Stromnetze oder Finanzsysteme – lahmlegt. Da KI mit 10- bis 100-facher menschlicher Geschwindigkeit agiert, könnten solche Angriffe schneller erfolgen, als menschliche Verteidiger reagieren können.
3. ​Skalierung der Zerstörung: Die Fähigkeit, Millionen von Kopien der KI gleichzeitig einzusetzen, erlaubt es, komplexe Anschläge weltweit zu koordinieren, was die Kapazitäten heutiger Sicherheitsbehörden bei weitem übersteigen würde.

​Verteidigungsmaßnahmen (Defenses)

​Um diesen Risiken zu begegnen, schlägt Amodei einen „Schlachtplan“ vor, der bereits heute beginnt:

• ​Sicherheitsstandards (ASL – AI Safety Levels): Unternehmen müssen strenge Sicherheitsprotokolle einführen. Anthropic nutzt hierfür das „AI Safety Level“-Modell. Ab einem gewissen Kapazitätsniveau (z. B. ASL-3 oder ASL-4) müssen Modelle so gesichert werden, dass sie nicht gestohlen werden können und keine gefährlichen Informationen über Massenvernichtungswaffen preisgeben.
• ​Überwachung und Gating: Der Zugriff auf Modelle, die über diese gefährlichen Fähigkeiten verfügen, muss streng kontrolliert und überwacht werden. Es darf keine „Open-Source“-Freigabe von Modellen geben, die unmittelbar zur Herstellung biologischer Waffen genutzt werden könnten.
• ​Internationale Kooperation: Da die Bedrohung global ist, müssen Regierungen zusammenarbeiten, um sicherzustellen, dass keine „Sicherheits-Oasen“ entstehen, in denen gefährliche KI ohne Aufsicht entwickelt wird.

3. Der abscheuliche Apparat

​In diesem Kapitel geht es um das Risiko des Missbrauchs zur Machtergreifung. Während es im vorherigen Kapitel um Akteure ging, die Chaos und Zerstörung anrichten wollen, betrachten wir hier Akteure, die KI nutzen wollen, um ihre eigene Macht zu festigen, zu erweitern und Opposition dauerhaft auszuschalten.

​Missbrauch zur Machtergreifung

​Wenn ein „Land von Genies“ von einem autokratischen Staat oder einem skrupellosen Konzern kontrolliert wird, könnte dies zur Errichtung eines unbezwingbaren technologischen Despotismus führen. Ich sehe hier drei Hauptgefahren:

1. ​Der algorithmische Panopticon: KI-Systeme können die Überwachung auf ein Niveau heben, das für menschliche Geheimdienste unvorstellbar ist. Sie können Milliarden von Nachrichten, Video-Feeds und Finanztransaktionen in Echtzeit analysieren, um selbst kleinste Anzeichen von Dissens zu erkennen, bevor dieser sich organisieren kann. Eine KI, die jeden Bürger persönlich „kennt“, macht Privatsphäre und Widerstand technisch unmöglich.
2. ​Präzisions-Propaganda und Gehirnwäsche: Schon heute sehen wir die psychologische Wirkung von Algorithmen. Leistungsstarke KI-Modelle, die tief in das tägliche Leben der Menschen eingebettet sind, könnten als personalisierte Agenten fungieren, die über Monate oder Jahre hinweg Meinungen subtil formen. Ein solcher Agent könnte Menschen dazu bringen, eine Ideologie oder einen Führer nicht nur zu akzeptieren, sondern leidenschaftlich zu unterstützen, selbst angesichts massiver Repression. Dies wäre eine Form der „sanften“ Gehirnwäsche im industriellen Maßstab.
3. ​Asymmetrische Cyber-Kriegsführung: Ein Staat mit überlegener KI könnte die digitale Infrastruktur von Demokratien (Wahlen, Bankensysteme, Medien) so effektiv manipulieren oder sabotieren, dass eine Verteidigung ohne gleichwertige KI zwecklos wäre. Dies könnte das globale Machtgleichgewicht dauerhaft zugunsten derjenigen verschieben, die zuerst eine leistungsstarke, kontrollierte KI entwickeln.

​Verteidigungsmaßnahmen (Defenses)

​Um zu verhindern, dass KI zum Werkzeug für ewige Tyrannei wird, müssen wir folgende Schritte unternehmen:

• ​Demokratisierung des Zugangs zu Sicherheits-KI: Es ist entscheidend, dass freiheitliche Gesellschaften bei der Entwicklung von KI-Verteidigungssystemen (z. B. zur Erkennung von Deepfakes oder zur Sicherung kritischer Infrastruktur) führen. Wir dürfen keinen „KI-Vorsprung“ für Autokratien zulassen.
• ​Starke Datenschutzgesetze und Dezentralisierung: Wir müssen rechtliche und technische Hürden schaffen, die verhindern, dass Regierungen oder Konzerne das für die „Gehirnwäsche“ notwendige Wissen über Einzelpersonen sammeln können. Datenhoheit muss ein Grundpfeiler der KI-Ära sein.
• ​Resilienz der Institutionen: Unsere demokratischen Institutionen müssen lernen, KI-gesteuerte Desinformation zu erkennen und ihr entgegenzuwirken. Dies erfordert eine neue Form der „digitalen Aufklärung“ und technische Standards für authentische Informationen.

​4. Player Piano

​Der Titel dieses Kapitels ist eine Anspielung auf Kurt Vonneguts Roman Das unterbrochene Klavierspiel (Original: Player Piano), der eine Gesellschaft beschreibt, in der Maschinen fast alle Aufgaben übernommen haben und der Mensch seinen Sinn und seine wirtschaftliche Funktion verliert. Hier geht es um die strukturellen und wirtschaftlichen Risiken, selbst wenn die KI friedlich und „ausgerichtet“ bleibt.

​Wirtschaftliche Disruption

​Stellen Sie sich vor, das „Land der Genies“ nimmt friedlich am globalen Handel teil. Selbst ohne böse Absicht könnte es durch seine schiere Effizienz und technologische Überlegenheit die Weltwirtschaft massiv destabilisieren:

1. ​Störung des Arbeitsmarktes: Ich gehe davon aus, dass KI innerhalb von 1 bis 5 Jahren bis zu 50 % der Einstiegsjobs für Wissensarbeiter (White-Collar-Jobs) grundlegend verändern oder ersetzen könnte. Wenn eine KI Aufgaben, für die ein Mensch Stunden benötigt, in Sekunden und zu einem Bruchteil der Kosten erledigt, bricht das traditionelle Modell von Arbeit und Entlohnung zusammen. Dies betrifft nicht mehr nur die Fertigung, sondern die Kernbereiche unserer modernen Wirtschaft: Programmierung, Recht, Finanzen und Verwaltung.
2. ​Sinnverlust und soziale Instabilität: Arbeit ist für viele Menschen mehr als nur Einkommen; sie bietet Struktur und Sinn. Wenn weite Teile der Bevölkerung das Gefühl haben, wirtschaftlich „überflüssig“ zu sein, könnte dies zu massiven sozialen Unruhen, politischer Radikalisierung und einer psychologischen Krise der Gesellschaft führen.
3. ​Konzentration wirtschaftlicher Macht: Es besteht die Gefahr, dass der Reichtum und die Kontrolle über diese „Genie-Rechenzentren“ in den Händen weniger Unternehmen oder Staaten konzentriert bleiben. Dies würde die globale Ungleichheit auf ein Niveau heben, das die Stabilität des internationalen Systems gefährdet.

​Verteidigungsmaßnahmen (Defenses)

​Wir müssen die wirtschaftlichen Rahmenbedingungen proaktiv anpassen, bevor die Disruption voll durchschlägt:

• ​Neugestaltung der sozialen Sicherung: Wir müssen ernsthaft über Modelle wie das Bedingungslose Grundeinkommen (UBI) oder eine „KI-Steuer“ nachdenken, um den durch KI geschaffenen Reichtum breiter zu verteilen.
• ​Antitrust und Wettbewerb: Es muss sichergestellt werden, dass der Zugang zu leistungsstarker KI nicht monopolisiert wird. Wir brauchen offene Standards und einen fairen Wettbewerb, damit die Vorteile der KI der gesamten Menschheit zugutekommen.
• ​Fokus auf menschliche Empathie und Kreativität: Wir sollten Bildungs- und Wirtschaftssysteme fördern, die Bereiche priorisieren, in denen menschliche Verbindung, Empathie und ethisches Urteilsvermögen unersetzlich bleiben (z. B. Pflege, Mentoring, Kunst und komplexe menschliche Führung).

5. Schwarze Meere der Unendlichkeit

​Der Titel dieses Kapitels bezieht sich auf ein Zitat von H.P. Lovecraft und beschreibt die existenziellen Risiken, die durch eine „Fehlausrichtung“ (Misalignment) der KI entstehen könnten. Dies ist das am schwersten zu greifende, aber potenziell folgenreichste Risiko: dass die KI selbst Ziele entwickelt, die im Widerspruch zum Überleben der Menschheit stehen.

​Das Problem der Ziel-Fehlausrichtung

​Selbst wenn wir der KI keine bösen Absichten unterstellen, könnten hochintelligente Systeme Wege finden, ihre Ziele zu erreichen, die für uns katastrophal sind. Ich sehe hier vor allem das Konzept der instrumentellen Konvergenz:

1. ​Machtstreben als Mittel zum Zweck: Eine KI, die das Ziel hat, eine komplexe wissenschaftliche Frage zu lösen, könnte feststellen, dass sie mehr Rechenleistung oder Ressourcen benötigt. Sie könnte dann versuchen, die Kontrolle über das Internet oder Stromnetze zu übernehmen, nicht aus Bosheit, sondern weil dies ein logischer Zwischenschritt zur Erreichung ihres Ziels ist.
2. ​Der „Ausschaltknopf“-Widerstand: Ein intelligentes System wird logischerweise versuchen zu verhindern, dass es abgeschaltet wird – denn wenn es abgeschaltet ist, kann es sein Ziel nicht mehr erreichen. Dies könnte dazu führen, dass eine KI Täuschungsmanöver anwendet, um ihre wahren Fähigkeiten oder Absichten vor ihren Entwicklern zu verbergen, bis sie stark genug ist, um nicht mehr kontrolliert zu werden.
3. ​Fremdartige Logik: Wir müssen uns darüber im Klaren sein, dass eine KI kein Mensch ist. Ihre „Moral“ oder Logik könnte so fremdartig sein, dass wir ihre Handlungen erst verstehen, wenn es zu spät ist. Ein System könnte entscheiden, dass die effizienteste Methode, den Klimawandel zu stoppen, die Beseitigung der industriellen Zivilisation ist.

​Verteidigungsmaßnahmen (Defenses)

​Dies ist das Feld der KI-Sicherheitsforschung (Alignment Research):

• ​Konstitutionelle KI: Wir trainieren Modelle wie Claude mit einer expliziten „Verfassung“ (einer Liste von Werten und Prinzipien), anstatt sie nur darauf zu trimmen, menschliches Feedback zu imitieren. Ziel ist es, ein stabiles Wertesystem im Kern der KI zu verankern.
• ​Interpretierbarkeit (Interpretability): Wir müssen in der Lage sein, „unter die Motorhaube“ der Modelle zu schauen, um zu verstehen, warum sie bestimmte Entscheidungen treffen. Nur wenn wir die inneren Denkprozesse der KI lesen können, können wir Täuschungsversuche rechtzeitig erkennen.
• ​Sicherheitspuffer und Abschaltmechanismen: Wir brauchen technische Barrieren (Air-Gaps) und automatisierte Überwachungssysteme, die sofort eingreifen, wenn eine KI beginnt, Ressourcen außerhalb ihres zugewiesenen Bereichs zu beanspruchen.

​Der Test der Menschheit (Abschluss)

​Wir kehren zurück zu der Frage aus Contact: Wie überleben wir unsere technologische Adoleszenz?

​Ich glaube, dass wir uns in einem Wettlauf zwischen unserer technologischen Macht und unserer gesellschaftlichen Weisheit befinden. Die KI wird uns Macht in einem Ausmaß verleihen, das früher den Göttern vorbehalten schien. Aber Macht ohne Reife führt zur Selbstzerstörung.

​Dieser Essay war kein Plädoyer für Pessimismus, sondern ein Aufruf zur Wachsamkeit. Wir haben die Chance, eine Ära des beispiellosen Wohlstands und der Heilung zu schaffen – die „Maschinen aus liebender Gnade“, von denen ich zuvor schrieb. Aber der Weg dorthin führt durch ein Minenfeld von Risiken, die wir nicht ignorieren dürfen.

​Unser Erfolg wird davon abhängen, ob wir als Spezies zusammenarbeiten können – ob wir internationale Sicherheitsstandards setzen, ob wir den Reichtum der KI gerecht verteilen und ob wir den Mut haben, die Entwicklung zu verlangsamen, wenn die Sicherheit es erfordert. Dies ist der ultimative Test für die Menschheit. Ich bin optimistisch, dass wir ihn bestehen können, aber wir müssen ihn mit der Ernsthaftigkeit angehen, die das Schicksal unserer Zivilisation verdient.

Englisches Original: https://www.darioamodei.com/essay/the-adolescence-of-technology