Ein Kommentar über AGI, rote Linien und existenzielle Sicherheitsrisiken von Sanja Cancar

Unabhängig voneinander brachten kürzlich zwei Ereignisse das Thema AGI (Allgemeine Künstliche Intelligenz) in die Medien. In meinem Umfeld wurde ich aufgrund meiner Expertise in ethischer KI und AI-Governance um eine Einschätzung gebeten. Doch worum geht es eigentlich?

Ereignis 1: Über 300 namhafte Forscher:innen, Autor:innen und Politiker:innen fordern sogenannte rote Linien in der KI-Entwicklung, klar definierte Grenzen, die nicht überschritten werden dürfen. Sie sprechen sich für verbindliche Prinzipien, nicht verhandelbare Bedingungen und Stoppsignale aus.

Ereignis 2: Eliezer Yudkowsky warnt schon seit Jahren vor den Gefahren einer übermächtigen Superintelligenz. Mit seinem Co-Autor Nate Soares veröffentlichte er eine Art Streitschrift mit dem apokalyptischen Titel “If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All”.

Worum geht es?

Hinter der Angst vor AGI steckt die Vorstellung, dass sich eines Tages eine

a) übermächtige und nicht mehr kontrollierbare KI entwickelt und

b) diese eigenständig ein Ziel entwickelt oder ihr vorgegeben wird, welches sie entsprechend ihres Algorithmus bestmöglich umsetzen möchte – kompromisslos und unabhängig von Menschen handelt bzw. im Fall des Falles die Menschheit auslöscht.

Das bedeutet: Es geht nicht darum, dass Personen glauben, eine gottähnliche Gestalt entscheidet über unser Schicksal. Die Sorge ist der technischen Natur, nämlich dass ein Algorithmus sich so weit selbst optimiert, dass er sich der Kontrolle seiner Entwickler:innen entzieht. Beispielsweise könnte ein Algorithmus sich selbst verbessern, Zugriff auf Netzwerke erlangen und eigenständig handeln – ohne Rücksicht auf menschliche Interessen.

Realität vs. Science Fiction

Grundsätzliches zuerst: Die existenziellen Szenarien sind hypothetisch und beschäftigen sich mit theoretischen Annahmen und Gedankenexperimenten. Die Definitionen, was eine sogenannte “Superintelligenz” ausmacht, sind uneinheitlich und die definierten, messbaren Kriterien verschieben sich, sobald diese erreicht wurden (“goalpost shifting”). Damit sind weder die heutigen Sprachmodelle noch andere generative KI gemeint.

Dabei wird oft übersehen: Eine KI entwickelt keine eigenen Werte. Sie reproduziert jene, die Menschen ihr beigebracht haben – durch Daten, Prompts, Zieldefinitionen.

Die eigentlichen Probleme

Die viel realistischeren und zum Teil bereits existierende Risiken liegen weniger in der Technologie, sondern in unserem Umgang mit ihr:

• Kapital- und Machtkonzentration: Wenige Konzerne (Google, Meta, Microsoft, OpenAI, Amazon) kontrollieren den Zugang zu Rechenressourcen, Daten und Talenten. Zudem veröffentlichen sie keine ausreichenden Informationen über Trainingsdaten, Architektur oder Sicherheitstests. Dies erschwert unabhängige Überprüfung, Reproduzierbarkeit und Regulierung.
• Ungleichheiten werden verstärkt: KI-Systeme reproduzieren Diskriminierung, weil Trainingsdaten gesellschaftliche Vorurteile enthalten.
• Strukturelle und kulturelle Probleme: Unternehmensstrukturen belohnen Wachstum, Nutzerbindung und Marktanteile. Sicherheit, Fairness und die Auswirkungen auf unsere Gesellschaft bleiben dabei auf der Strecke. „Move fast and break things“ bleibt die Devise, auch im KI-Zeitalter.
• Disruption der Arbeitswelt: Innerhalb immer kürzer werdender Zeitabläufe wird der Jobmarkt umgewälzt.

Zwischen Polemik und Journalismus

Zum Werk von Eliezer Yudkowsky und Nate Soares: Dieser Rezension (bzw. eigentlich Zerriss) der Washington Post kann ich nichts mehr hinzuzufügen. Verschiedene Parabeln und Dystopien sollen vor den potentiellen Gefahren der AGI warnen. Wie es tatsächlich funktionieren soll können die Autoren genauso wenig beschreiben wie das, was man dagegen tun kann oder soll. Auch wenn die beiden etablierte Forscher sind, ist das Werk leider nicht zu empfehlen, um sich der Thematik zu nähern.

Wärmstens empfehlen kann ich stattdessen (wie auch der Washington Post Artikel) das Buch von Karen Hao “Empire of AI”. Mit einem Studium am MIT bringt Karen Hao ein technologisches Verständnis mit und lässt sich nichts durch Buzzwords vormachen. Sie gibt einen tiefen Einblick hinter die Kulissen der Industrie, in der mit erschreckender Verantwortungslosigkeit gehandelt wird. Das geballte Wissen ist so spannend aufgebaut, dass es sich liest wie ein Wirtschaftskrimi.

Grenzen der KI-Entwicklung

Zurück zu den Red Lines: Haben über 300 der renommiertesten Forscher:innen, darunter auch Nobelpreisträger:innen, Diplomat:innen, Staatsoberhäupter, gegen AGI unterzeichnet? Jein. Der Aufruf richtet sich gegen die weltweiten, negativen Einflüsse heutiger KI: Desinformation, Sicherheitsbedenken, Machtmissbrauch bis hin zu Menschenrechtsverletzungen. Die Unterzeichnenden fordern Regierungen auf, Kontrollmechanismen zu schaffen und ein internationales Abkommen zu schließen. Aufgrund der Geschwindigkeit der Entwicklung und dem Wachstum des Marktes steigen die Risiken exponentiell. Jetzt ist noch Zeit zu handeln und sich für eine ethische, gerechte Welt einzusetzen. Und darum geht es schließlich.

Abseits der Buzzwords, für ethische KI

Wir von PaiperOne stehen für eine vertrauenswürdige Entwicklung von KI ein, die im Einklang mit europäischen Werten steht. Das tun wir nicht, weil wir uns einen USP setzen wollen, sondern weil wir daran glauben, dass diese Systeme eine Welt widerspiegeln sollen, wie wir sie leben möchten – offen und frei. Und sicher. Und fair. Und ehrlich. Und transparent. Und vieles mehr, das gerade aufgrund der Machtmonopolisation zu zerfallen droht.

Wenn Technologie beginnt, die Regeln zu diktieren, brauchen wir keine Panik – wir brauchen Governance, Compliance und klare Grenzen.

Es heißt oft: „Wenn du etwas nicht ändern kannst, akzeptiere es.“

Aber das gilt hier nicht.

Wir können etwas ändern. Und genau deshalb tun wir es.

🔗 Weiterführende Ressourcen:

• MIT ordnet AGI in Mythen und Verschwörungstheorien ein
• Deep Dive vom Spiegel in das Thema AGI: Auszug: “Außerhalb von KI-Firmen und alarmistischen Thinktanks geben die meisten Fachleute wenig auf die Prognosen, dass diese Explosion kurz bevorsteht.”
  Das liegt daran, dass sowohl die KI-Firmen, als auch die Thinktanks andere Motive wie Investitionen oder Selbsterhalt haben.
• Einführung in das Thema AGI von Robert Miles
• Wissenschaftlicher Überblick zu AI Risiken, ihren Auswirkungen und Wahrscheinlichkeiten: The AI Risk Spectrum: From Dangerous Capabilities to Existential Threats
• Hintergründe zum Grok-Skandal und wie schnell ein Disaster zustande kommt
• Viel lustiger als Doomsday-Buch: Harry Potter Fanfiction von Eliezer Yudkowsky