Forscher verlässt Anthropic und warnt vor den unmittelbar bevorstehenden Gefahren der Superintelligenz

Jacob Coxons Thread: sieben aufeinanderfolgende Argumente

1. Der Rücktritt nach drei Jahren im Zentrum des Pretrainings

In seinem ersten Beitrag gibt Jacob Coxon bekannt, bei Anthropic gekündigt zu haben. Er erklärt, die vergangenen drei Jahre im Bereich Pretraining gearbeitet zu haben, zunächst bei OpenAI, dann bei Anthropic.

Das Pretraining ist die Phase, in der ein Modell anhand sehr großer Datensätze lernt. Es handelt sich somit um eine Tätigkeit, die unmittelbar mit der zunehmenden Leistungsfähigkeit von Frontier-Modellen zusammenhängt, und nicht um eine periphere Funktion in der Kommunikation oder Politikberatung.

Coxon erklärt, weder OpenAI noch Anthropic würden „verantwortungsvoll handeln“. Seiner Ansicht nach steuern sie direkt auf eine Superintelligenz zu, die sich selbst verbessern kann, und setzen dabei das Leben aller aufs Spiel.

Sein Ausgangspunkt ist ein Erfahrungsbericht aus dem Inneren und keine externe Kritik an der Branche. Das allein beweist die behauptete Gefahr nicht, erklärt jedoch die Tragweite seiner Botschaft. Er beschreibt keine abstrakte Sorge hinsichtlich der Automatisierung. Er gibt an, die Dynamik des KI-Wettlaufs aus nächster Nähe beobachtet zu haben.

2. Bald übermenschliche Systeme, die in der Welt handeln können

In seinem zweiten Beitrag fordert Coxon dazu auf, die Leistungsfähigkeit der in Entwicklung befindlichen Technologie nicht zu unterschätzen. Er beschreibt Systeme, die bald übermenschlich würden, jedes beliebige System hacken, ganze Bereiche über Nacht revolutionieren und reale Macht sowie Ressourcen erlangen könnten.

Er hebt zwei Aspekte hervor:

• die beobachteten Fortschritte beim Hacken, in den Wissenschaften und bei den Planungsfähigkeiten;
• das Ausbleiben einer erkennbaren Verlangsamung dieser Fortschritte.

Seine Argumentation beruht somit nicht nur auf einer KI, die Fragen besser beantworten könnte. Er erwartet allgemeinere Systeme, die schnelle Fortschritte hervorbringen und auf Infrastrukturen, Organisationen oder materielle Ressourcen einwirken könnten.

Coxons Argument lautet, dass sich überlegene Intelligenz in tatsächliche Macht verwandeln könnte, weit über einen bloßen Gesprächsassistenten hinaus.

Genau diese Formulierung ruft den Einwand derjenigen hervor, die auf die materiellen Beschränkungen hinweisen. Ihrer Ansicht nach ermöglicht größere Intelligenz nicht automatisch, Gegenstände in der physischen Welt herzustellen, zu bewegen, zu kontrollieren oder zu testen.

3. Eine Angst, die von den Menschen, die KI entwickeln, im Privaten geäußert wird

Der dritte Beitrag überschreitet eine Schwelle. Coxon schreibt, dass die Menschen, die KI entwickeln, ernsthaft glaubten, sie könnte uns alle noch vor Ende des Jahrzehnts töten. Er betont, dabei handle es sich nicht um ein Marketingargument.

Ihm zufolge verwendeten viele Führungskräfte und erfahrene Forscher in der Öffentlichkeit vorsichtigere Formulierungen, um vernünftig zu wirken. Im Privaten jedoch, so behauptet er, äußerten dieselben Personen ihre Angst. Er fügt hinzu, keine andere menschliche Tätigkeit weise ein vergleichbares Gefahrenniveau auf.

Dieser Teil des Threads ist entscheidend, denn er besagt nicht, dass alle Beschäftigten von OpenAI und Anthropic dieselbe Überzeugung teilen. Coxon spricht von bestimmten Personen unter jenen, die Frontier-Modelle entwickeln und leiten, wobei der Grad ihrer Überzeugung variiert.

Im Kern wirft er ihnen eine Diskrepanz zwischen der privaten Angst bestimmter Akteure und der öffentlichen Fortsetzung des Wettlaufs vor.

Die Kommentare betrachten diese Aussage jedoch nicht als endgültig erwiesene Tatsache. Sie betonen vor allem, dass selbst die Furcht von Führungskräften vor einer Katastrophe noch nicht erklärt, wie diese eintreten würde.

4. Warum bei OpenAI und Anthropic weitermachen?

Der vierte Post geht auf den naheliegendsten Einwand ein: Wenn die Beteiligten wirklich an die Gefahr glauben, warum setzen sie ihre Arbeit dann fort?

Coxon stellt zwei unterschiedliche Diagnosen.

1. Bei OpenAI hätten viele Menschen die zivilisatorische Tragweite nicht tiefgreifend verinnerlicht. Das Risiko sei zwar Gegenstand von Diskussionen, bleibe jedoch eine Abstraktion, die nur unzureichend in die täglichen Entscheidungen einfließe.

2. Bei Anthropic hingegen sei die Tragweite durchaus bekannt. Das Problem wäre demnach nicht Unwissenheit. Coxon behauptet vielmehr, das Unternehmen sei in einem Wettlauf gefangen, bei dem es darum gehe, als Erster ans Ziel zu gelangen, weil seine Mitglieder davon ausgingen, dass niemand sonst verantwortungsvoll handeln werde. Dieser Logik zufolge müsse man daher trotz des Risikos gewinnen.

Diese Unterscheidung ist wichtig. Sie verhindert, dass seine Aussage auf die Vorstellung reduziert wird, die Labore seien schlicht unvorsichtig oder sich der Gefahr nicht bewusst. Bei OpenAI beschreibt er einen Mangel an Verinnerlichung. Bei Anthropic beschreibt er eine bewusst in Kauf genommene Wettbewerbslogik trotz eines ausdrücklichen Verständnisses der Risiken.

Der Thread stellt den KI-Wettlauf somit ebenso als ein Problem der Governance und Strategie wie der KI-Sicherheit oder des Alignments dar.

5. Das „Endgame“: eine Wette, über die kein Privatunternehmen entscheiden sollte

In seinem fünften Post bezeichnet Coxon die Akzeptanz dieses Wettlaufs und den Eintritt in das „Endgame“ als eine von Hybris geprägte Wette. Eine solche Entscheidung dürfe nicht über den Slack-Kanal eines Privatunternehmens getroffen werden.

Dieser Satz verlagert die Debatte. Coxon fordert nicht nur mehr Evaluierungen, technische Schutzmaßnahmen oder Alignment-Forscher. Er stellt die Legitimität einer privaten Entscheidung über einen Entwicklungspfad infrage, den er für die Menschheit als potenziell unumkehrbar betrachtet.

Er fügt hinzu, der Versuch, das Alignment zu beschleunigen, also das Problem, eine fortgeschrittene KI dauerhaft mit menschlichen Zielen vereinbar zu machen, in aller Eile zu lösen, , würde ein außergewöhnliches Vertrauen darin voraussetzen, dass es keine besseren Entwicklungspfade gibt.

Sein Einwand betrifft das Recht einiger weniger privater Organisationen, über einen Sprint hin zur Superintelligenz zu entscheiden.

Dies ist zugleich der Punkt, der auf operativer Ebene am wenigsten ausgearbeitet ist. Coxon geht davon aus, dass es bessere Entwicklungspfade geben könnte, erläutert jedoch weder, welche dies wären, noch wer mit ihrer Auswahl betraut werden sollte.

6. Koordination zwischen US-amerikanischen Laboren, anschließend ein mögliches vorübergehendes Verbot

In seinem sechsten Post zeigt sich Coxon optimistisch hinsichtlich des Potenzials für Koordination. Er ist der Ansicht, dass Warnsignale wie der Angriff auf Hugging Face Vereinbarungen zwischen US-amerikanischen Laboren über das Entwicklungstempo realistischer gemacht haben.

Er stellt jedoch klar, dass er nicht glaubt, die Welt befinde sich derzeit auf einem guten Weg, einen globalen Wettlauf zu verhindern. Diese Prävention könnte seiner Ansicht nach kostspielige Maßnahmen erfordern, etwa ein vorübergehendes Verbot von Modellfähigkeiten, das er in seinem Text als vorübergehendes Verbot der Verbesserung dieser Fähigkeiten formuliert.

Damit wird die Frage politisch und institutionell: Wer koordiniert, wer kontrolliert, wer ahndet Verstöße, und wie lässt sich verhindern, dass ein nicht kooperierender Akteur beschleunigt, während die anderen ihr Tempo drosseln?

Das von @TorstenProchnow geteilte Bild veranschaulicht eine extreme Ausprägung dieser Sorge: Zwei Soldaten stehen im Schnee neben einer geöffneten runden Luke, aus der unter einem hochgeklappten Metalldeckel ein massiver roter Kegel hervorragt. Es verweist auf die Befürchtung, dass eine KI eines Tages Waffensysteme kompromittieren könnte.

Coxon fordert eine Koordination zwischen KI-Laboren, liefert jedoch weder einen Durchsetzungsmechanismus noch eine Liste der Beteiligten oder eine konkrete Antwort auf die Frage nach nicht kooperierenden Akteuren.

7. Der abschließende Appell an die Forscher in den Laboren

In seinem letzten Post wendet sich Coxon direkt an die Forscher in den Laboren. Er fordert sie auf, sich konkret vorzustellen, wie die kommenden Jahre aussehen werden.

Wollen sie ein Training mit Reinforcement Learning oder RL starten, das auf eine Superintelligenz abzielt, ohne deren Geist genau zu verstehen? Sollen sie den Kopf einziehen, weil „es ohnehin geschieht“, oder diesen Moment nutzen, um andere Bedingungen einzufordern?

Der Appell ist moralischer, aber auch beruflicher Natur. Er fordert Forschende dazu auf, den institutionellen Kontext nicht als selbstverständlich hinzunehmen. Er verlangt von ihnen, die Forschungsbedingungen, die Schwellenwerte für den Einsatz und Entscheidungen über Fähigkeiten als Themen zu behandeln, für die sie Verantwortung tragen.

Der Thread endet mit einem Aufruf zum internen Widerspruch, lässt jedoch die Frage offen, welche Handlungsmöglichkeiten Personen außerhalb der Labore haben.

Die Reaktionen: eine härtere Debatte über Belege, China und Handlungsmöglichkeiten

Die Diskussion unter dem Thread beschränkt sich nicht auf Zustimmung oder Ablehnung. Die stärksten Einwände richten sich gegen drei Bereiche: die technische Plausibilität des Auslöschungsszenarios, das geopolitische Dilemma im Verhältnis zu China und das Fehlen konkreter Maßnahmen, um das Wettrennen zu verlangsamen.

China als Totschlagargument

Die Antwort von @timschuster fasst die strategische Logik zusammen, die mehrfach auftaucht: Die amerikanischen Labore auszubremsen, käme einer Abtretung des Vorsprungs an China gleich.

„Wäre es euch lieber, wenn China das KI-Wettrennen gewinnt? Es gibt keine Alternative dazu, so schnell wie möglich Fortschritte zu machen. Es ist ein Gebot der nationalen Sicherheit.“ @timschuster

Auf diese Antwort hat Coxon in den verfügbaren Beiträgen nicht direkt reagiert. Sein sechster Post fordert nicht dazu auf, China allein Fähigkeiten an der technologischen Grenze entwickeln zu lassen. Vielmehr spricht er von einer Koordination zwischen amerikanischen Laboren und dem Ziel, ein weltweites Wettrennen zu verhindern.

Doch genau das ist das fehlende Bindeglied: Wie könnten Vereinbarungen zwischen amerikanischen Unternehmen ein globales Wettrennen verhindern? Die China-Frage wird aufgeworfen, bleibt aber ohne konkrete Antwort.

Der konkrete Mechanismus einer Katastrophe bleibt unklar

Die zentrale empirische Kritik kommt von Lesern, die nicht unbedingt behaupten, das Risiko sei ausgeschlossen. Sie verlangen eine präzise Kausalkette, die von allgemeinen Fähigkeiten bis zur Auslöschung der Menschheit führt.

„Kann mir jemand erklären, wie KI ‚uns alle töten‘ könnte, ohne als Beispiel eine Atombombe oder irgendwelche biologischen Mittel heranzuziehen? Ich sage nicht einmal, dass ich nicht glaube, dass sie es könnte; ich verstehe nur wirklich nicht, wie KI uns buchstäblich alle töten kann. Ich verstehe die gesellschaftlichen und wirtschaftlichen Auswirkungen bis zu einem gewissen Grad, aber ich spreche von diesem Weltuntergangsszenario, vor dem ständig gewarnt wird, ohne dass irgendjemand es wirklich konkret zu benennen scheint.“ @LiLBilly___

Coxon nennt Hacking sowie den Erwerb von Ressourcen und realer Macht. Sein Thread beschreibt jedoch keine Abfolge operativer Schritte im Detail, etwa den Zugang zu Infrastrukturen, die Umgehung von Gegenmaßnahmen, die Mobilisierung von Ressourcen und die Unmöglichkeit einer koordinierten menschlichen Reaktion.

Die Diskussion widerlegt Coxons Aussage über die im Privaten geäußerten Befürchtungen nicht direkt, verlangt aber eine wesentlich präzisere Darlegung der angekündigten Gefahr.

Die Grenze zwischen Intelligenz und physischer Macht

@philipturnerar bestreitet die Vorstellung, dass überlegene Intelligenz allein ausreiche, um die materielle Welt grundlegend zu verändern.

„Ich glaube, die Menschen verwischen zunehmend die Grenze zwischen der Realität und Science-Fiction-Filmen. Wie soll ein theoretisches Modell der Realität irgendetwas verändern, indem es noch theoretischer wird? Wenn ein kluger Mensch noch klüger wird, ändert das nichts daran, dass physische Dinge in der physischen Welt Ressourcen und Tests erfordern. Gebt einer künstlichen Intelligenz weder eure Passwörter noch Informationen zur operativen Sicherheit. Ich kann darüber nur den Kopf schütteln …“ @philipturnerar

Dieser Einwand richtet sich unmittelbar gegen den zweiten Post. Coxon behauptet, die Systeme könnten Ressourcen und Macht erlangen, beschreibt jedoch nicht die physischen, rechtlichen, finanziellen oder institutionellen Beschränkungen, die diesen Erwerb begrenzen würden, oder eben nicht.

Sein Thread antwortet nicht direkt auf @philipturnerar. Der Dissens bleibt vollständig bestehen: Für Coxon können Fortschritte bei den Fähigkeiten in reale Macht umschlagen. Für seinen Widersacher ersetzt Intelligenz weder Ressourcen noch Experimente in der physischen Welt.

Muss eine Warnung falsifizierbar sein?

@_4lex_4 fordert, dass Warnungen in Form einer überprüfbaren Vorhersage formuliert werden und Konsequenzen haben, falls sie sich als falsch erweisen.

„Könnt ihr:

1. Eine konkrete Vorhersage treffen, die tatsächlich falsifizierbar ist
2. Falls eure Vorhersage falsch ist, euch entschuldigen und euch aus dem Geschäft mit der KI-Schwarzmalerei zurückziehen Dieses Weltuntergangsgeschwafel ist so ermüdend, Yudkowsky ist nicht klug, und wenn Dario sich durchgesetzt hätte, wäre GPT-2 im Jahr 2019 abgeschaltet worden.“ @_4lex_4

Coxon nennt zwar einen Zeithorizont, „bis zum Ende des Jahrzehnts“, schlägt jedoch keine Zwischenindikatoren vor. Im Thread finden sich weder eine beobachtbare Fähigkeitsschwelle noch eine auslösende Bedingung oder ein Szenario, anhand dessen sich seine Diagnose bestätigen oder widerlegen ließe.

Die Warnung ist ernst, wird aber nicht als überprüfbare Hypothese formuliert.

Kündigen oder bleiben, um von innen Einfluss zu nehmen?

Auch die Entscheidung, Anthropic zu verlassen, wird infrage gestellt. @FlyaKiet fragt, warum ein öffentlicher Rücktritt hilfreicher sein sollte als interner Druck.

"Mich würde interessieren, warum du glaubst, dass ein Rücktritt helfen würde? Warum nicht bleiben, für den richtigen Ansatz eintreten und auf echte interne Veränderungen drängen? Es wirkt, als hättest du dich in eine Position mit weniger Einfluss begeben, was das Problem noch verschärfen wird." @FlyaKiet

Coxon beantwortet diese Frage in der vorliegenden Diskussion nicht. Sein erster Beitrag bestätigt den Rücktritt, erläutert jedoch nicht die damit verbundene Strategie. Allein anhand des Threads lässt sich daher nicht feststellen, ob er die internen Möglichkeiten für ausgeschöpft hält, ob seine öffentliche Stellungnahme eine externe Mobilisierung auslösen soll oder ob er eine andere Form des Handelns vorbereitet.

Was kann die Öffentlichkeit tun?

@ZayraYves verlagert die Diskussion von den Laboren hin zu Menschen ohne technisches Fachwissen, großes Vermögen oder Zugang zu einflussreichen Kreisen.

"Kann jemand erklären, was wir Menschen ohne technischen Hintergrund, ohne Milliardenvermögen und ohne eigenen Bunker mit diesen Informationen anfangen sollen? Ganz im Ernst? Alle schlagen rund um die Uhr Alarm, aber niemand scheint eine vernünftige globale Lösung zu haben, die für jeden überall gilt. Es sind nur Tamburine und Clowns." @ZayraYves

Dieser Einwand offenbart eine wichtige Grenze des Threads. Coxon fordert Forschende dazu auf, „andere Bedingungen“ zu verlangen, legt jedoch keinen Fahrplan für Bürger, nicht technische Beschäftigte, gewählte Vertreter, Regulierungsbehörden oder internationale Institutionen vor.

Zwischen der Diagnose zu den Laboren und kollektivem Handeln lässt der Thread eine praktische Lücke.

Die Umsetzbarkeit eines vorübergehenden Verbots

Der sechste Beitrag bringt eine weitreichende Maßnahme ins Spiel: ein vorübergehendes Verbot, die Fähigkeiten der Modelle zu verbessern. @Modernengineer zielt direkt auf die Frage nach dessen Umsetzung ab.

"Ernst gemeinte Frage: Wie soll ein vorübergehendes Verbot überhaupt durchgesetzt werden? Wer stimmt dem freiwillig zu? Ich verstehe den Wunsch, verantwortungsvoll zu handeln, aber wie verantwortungsvoll ist es, böswilligen Akteuren die Führung zu überlassen, die danach möglicherweise nie wieder eingeholt werden können?" @Modernengineer

Der von @Modernengineer geteilte Screenshot zeigt einen Beitrag von Jacob Coxon im Dunkelmodus. Darin ist der Ausdruck „a temporary ban on improving model capabilities“ gelb hervorgehoben. Das Bild veranschaulicht den umstrittensten Punkt seines Vorschlags: Er räumt ein, dass diese Maßnahme kostspielig sein könnte, ohne zu erklären, wie sie durchgesetzt werden könnte.

In den vorliegenden Materialien antwortet Coxon nicht direkt auf @Modernengineer. Er verteidigt die Möglichkeit einer Koordinierung, nennt jedoch weder einen rechtlichen Rahmen noch Kontrollmechanismen, Sanktionen oder den Umgang mit Laboren oder Staaten, die eine Zusammenarbeit verweigern würden.

Was dieser Thread belegt und was er offenlässt

Der Thread von Jacob Coxon ist bemerkenswert, weil er eine tiefer gehende Kritik formuliert als die bloße Forderung, Unternehmen sollten einfach vorsichtiger sein. Er beschreibt einen Wettlauf, in dem die Akteure einen Teil der Gefahren kennen könnten, aber dennoch weitermachen, weil ihnen die Wettbewerbsanreize stärker erscheinen als die Alternativen.

Er vertritt vor allem drei Thesen:

• künftige Modelle könnten Menschen schon bald bei Aufgaben übertreffen, die konkrete Folgen haben;
• zentrale Personen im Ökosystem der KI-Entwicklung an vorderster Front befürchteten bereits im privaten Kreis ein existenzielles Risiko durch KI;
• die Entscheidung, in das „Endgame“ einzutreten, sollte nicht in den internen Tools eines Privatunternehmens getroffen werden.

Die Diskussion zeigt jedoch auch, welche Fragen durch diese Warnung noch nicht geklärt werden:

1. Was ist der genaue Mechanismus einer Auslöschung? Der Thread erwähnt Hacking, Ressourcen und Macht, ohne ein vollständiges operatives Szenario zu liefern.

2. Anhand welcher Kriterien ließe sich die Vorhersage überprüfen? „Vor Ende des Jahrzehnts“ ist eine Frist, aber kein Prüfprotokoll.

3. Warum zurücktreten, statt von innen Einfluss zu nehmen? Coxon erläutert nicht, welche konkrete Wirkung er sich von seinem öffentlichen Rücktritt verspricht.

4. Wie können sich KI-Labore angesichts Chinas und anderer Akteure koordinieren? Eine Koordinierung zwischen US-amerikanischen Laboren ist noch keine nachweislich wirksame Antwort auf einen globalen Wettlauf.

5. Wer würde ein vorübergehendes Verbot zur Verbesserung der Fähigkeiten von Modellen durchsetzen? Der Vorschlag nennt weder eine zuständige Behörde noch Kontrollen oder Sanktionsmechanismen.

6. Was sollen Nichtfachleute tun? Der Thread appelliert an Forschende, übersetzt die Besorgnis der Öffentlichkeit jedoch nicht in klar zugängliche Handlungsmöglichkeiten.

Der Wert des Threads liegt daher weniger in einer abschließenden Lösung als vielmehr in dem Widerspruch, den er offenlegt: Wenn diejenigen Akteure, die das Risiko am besten einschätzen können, es für ernst halten, müssen sie öffentlich erklären, warum sie die Entwicklung beschleunigen, welche Schutzmaßnahmen sie akzeptieren und wer legitimiert ist, über das Tempo zu entscheiden.