Forskare lämnar Anthropic och varnar för superintelligensens överhängande faror

Jacob Coxons tråd, sju argument i följd

1. Avgången efter tre år mitt i förträningen

I sitt första meddelande meddelar Jacob Coxon att han har sagt upp sig från Anthropic. Han uppger att han har tillbringat de senaste tre åren med att arbeta med förträning, först på OpenAI och därefter på Anthropic.

Förträning är den fas då en modell lär sig från mycket stora datamängder. Det handlar alltså om en roll som är direkt kopplad till att öka kapaciteten hos de mest avancerade modellerna, snarare än en perifer funktion inom kommunikation eller offentlig politik.

Coxon hävdar att varken OpenAI eller Anthropic ”agerar ansvarsfullt”. Enligt honom rusar de rakt mot en superintelligens som kan förbättra sig själv och satsar allas liv i ett vad.

Hans utgångspunkt är ett vittnesmål inifrån, inte en extern kritik av branschen. Det bevisar inte i sig den påstådda faran, men förklarar budskapets genomslag. Han beskriver inte en abstrakt oro för automatisering. Han hävdar att han på nära håll har observerat dynamiken i AI-kapplöpningen.

2. Snart övermänskliga system med förmåga att agera i världen

I sitt andra inlägg uppmanar Coxon läsarna att inte underskatta kraften i den teknik som utvecklas. Han beskriver system som snart skulle bli övermänskliga, kunna hacka vilket system som helst, revolutionera hela områden över en natt samt skaffa sig verklig makt och verkliga resurser.

Han betonar två faktorer:

• de framsteg som observerats inom dataintrång, vetenskap och planeringsförmåga;
• avsaknaden av någon synlig avmattning i dessa framsteg.

Hans resonemang bygger alltså inte enbart på en AI som skulle bli bättre på att besvara frågor. Han förutser mer generella system som kan åstadkomma snabba genombrott och påverka infrastrukturer, organisationer eller materiella resurser.

Coxons argument är att en överlägsen intelligens skulle kunna omvandlas till faktisk makt, långt bortom en enkel samtalsassistent.

Det är just denna formulering som väcker invändningar från dem som framhåller de materiella begränsningarna. Enligt dem innebär högre intelligens inte automatiskt en förmåga att tillverka, flytta, kontrollera eller testa föremål i den fysiska världen.

3. En rädsla som uttrycks privat av dem som utvecklar AI

Det tredje inlägget passerar en tröskel. Coxon skriver att de personer som utvecklar AI uppriktigt tror att den skulle kunna döda oss alla före årtiondets slut. Han understryker att det inte skulle röra sig om ett marknadsföringsargument.

Enligt honom skulle många chefer och seniora forskare offentligt använda försiktigare formuleringar för att framstå som rimliga. Men privat, hävdar han, skulle samma personer uttrycka sin rädsla. Han tillägger att ingen annan mänsklig verksamhet skulle medföra en jämförbar risknivå.

Den här delen av tråden är central, eftersom den inte säger att alla anställda på OpenAI och Anthropic delar exakt samma övertygelse. Coxon syftar på vissa av dem som utvecklar och leder arbetet med de mest avancerade modellerna, med varierande grad av övertygelse.

Kärnan i hans anklagelse är en motsättning mellan vissa aktörers privata rädsla och den fortsatta offentliga kapplöpningen.

Kommentarerna betraktar dock inte detta vittnesmål som ett definitivt fastställt faktum. De betonar framför allt att även om ledare fruktar en katastrof, förklarar denna rädsla ännu inte hur den skulle inträffa.

4. Varför fortsätta på OpenAI och Anthropic?

Det fjärde inlägget bemöter den mest uppenbara invändningen: om de berörda personerna verkligen tror på faran, varför fortsätter de då arbetet?

Coxon föreslår två skilda förklaringar.

1. På OpenAI skulle många inte på djupet ha tagit till sig de civilisatoriska konsekvenserna. Risken skulle finnas med i diskussionerna men förbli en abstraktion som inte i tillräcklig grad integrerats i de dagliga besluten.

2. På Anthropic skulle konsekvenserna däremot vara väl förstådda. Problemet skulle alltså inte vara okunskap. Coxon hävdar i stället att företaget skulle vara fast i en kapplöpning om att komma först, eftersom dess medlemmar skulle anse att ingen annan kommer att agera ansvarsfullt. Enligt denna logik skulle man därför behöva vinna trots risken.

Denna åtskillnad är viktig. Den förhindrar att hans resonemang reduceras till föreställningen att laboratorierna helt enkelt skulle vara vårdslösa eller omedvetna. På OpenAI beskriver han en bristande internalisering. På Anthropic beskriver han en medvetet accepterad konkurrenslogik trots en uttrycklig förståelse för riskerna.

Tråden framställer därmed AI-kapplöpningen som ett problem för styrning och strategi, i lika hög grad som för AI-säkerhet eller alignment.

5. ”Slutspelet”, en chansning som inte bör ligga i händerna på ett privat företag

I sitt femte inlägg beskriver Coxon accepterandet av denna kapplöpning och inträdet i ”slutspelet” som en övermodig chansning. Han hävdar att ett sådant beslut inte bör fattas i ett privat företags Slack.

Denna formulering förskjuter debatten. Coxon efterlyser inte bara fler utvärderingar, tekniska skyddsåtgärder eller forskare inom alignment. Han ifrågasätter legitimiteten i ett privat beslut om en utvecklingsbana som han bedömer kan bli oåterkallelig för mänskligheten.

Han tillägger att ett försök att påskynda alignment, det vill säga att i högsta hastighet lösa problemet med att göra en avancerad AI varaktigt förenlig med mänskliga mål, skulle kräva en oerhörd tilltro till att det inte finns några bättre utvecklingsvägar.

Hans invändning gäller några få privata organisationers själva rätt att besluta om en sprint mot superintelligens.

Detta är också den punkt som är minst utvecklad på det operativa planet. Coxon anser att det kan finnas bättre utvecklingsvägar, men redogör varken för vilka de är eller vem som skulle få i uppdrag att välja dem.

6. Samordning mellan amerikanska laboratorier, därefter ett möjligt tillfälligt förbud

I sitt sjätte inlägg säger sig Coxon vara optimistisk om möjligheterna till samordning. Han anser att varningssignaler, som attacken mot Hugging Face, har gjort avtal om utvecklingstakten mellan amerikanska laboratorier mer tänkbara.

Han förtydligar dock att han inte anser att världen för närvarande är på rätt väg för att förhindra en global kapplöpning. Att förhindra den skulle, enligt honom, kunna kräva kostsamma åtgärder, såsom ett tillfälligt förbud mot modellkapaciteter, vilket i hans text formuleras som ett tillfälligt förbud mot att förbättra dessa kapaciteter.

Frågan blir då politisk och institutionell: vem samordnar, vem kontrollerar, vem bestraffar överträdelser och hur förhindrar man att en aktör som inte samarbetar accelererar medan de andra saktar ner?

Bilden som delas av @TorstenProchnow illustrerar en extrem version av denna oro: två militärer står i snön nära en öppen rund lucka, ur vilken en stor röd kon sticker upp under ett uppfällt metallock. Den anspelar på rädslan för en AI som en dag skulle kunna äventyra vapensystem.

Coxon efterlyser samordning mellan AI-laboratorier men tillhandahåller varken någon genomförandemekanism eller deltagarlista eller något exakt svar om aktörer som inte samarbetar.

7. Den avslutande uppmaningen till laboratoriernas forskare

I sitt sista inlägg vänder sig Coxon direkt till forskare på laboratorier. Han ber dem att konkret föreställa sig hur de kommande åren kommer att se ut.

Vill de inleda en träning med reinforcement learning, eller RL, som syftar till en superintelligens utan att rigoröst förstå dess medvetande? Ska de böja sina huvuden för att ”det händer ändå”, eller gripa detta tillfälle för att kräva andra villkor?

Uppmaningen är moralisk, men också professionell. Den uppmanar forskarna att inte ta det institutionella sammanhanget för givet. Den kräver att de behandlar forskningsvillkor, trösklar för driftsättning och beslut om kapacitet som frågor de har ett ansvar för.

Tråden avslutas med en uppmaning till intern opposition, men lämnar frågan öppen om vilka påverkansmedel som står till buds för personer utanför laboratorierna.

Svaren: en hårdare debatt om bevis, Kina och handlingsmöjligheter

Diskussionen under tråden begränsar sig inte till instämmande eller avvisande. De starkaste invändningarna riktar in sig på tre områden: den tekniska rimligheten i utrotningsscenariot, det geopolitiska dilemmat med Kina och avsaknaden av konkreta åtgärder för att bromsa kapplöpningen.

Kina som argument för att låsa fast kapplöpningen

Svaret från @timschuster sammanfattar den strategiska logik som återkommer flera gånger: att bromsa de amerikanska laboratorierna skulle innebära att ge Kina ett försprång.

"Skulle du hellre se att Kina vinner AI-kapplöpningen? Det finns inget annat alternativ än att göra framsteg så snabbt som möjligt. Det är en nationell säkerhetsfråga." @timschuster

I det tillgängliga materialet har Coxon inte besvarat detta direkt. Hans sjätte inlägg uppmanar inte till att låta Kina ensamt utveckla kapacitet vid teknikfronten. Tvärtom nämner han samordning mellan amerikanska laboratorier och målet att förhindra en global kapplöpning.

Men det är just detta som är den saknade länken: hur skulle avtal mellan amerikanska företag kunna förhindra en global kapplöpning? Kinafrågan tas upp men förblir utan ett konkret svar.

Den konkreta mekanismen bakom en katastrof saknas fortfarande

Den centrala empiriska kritiken kommer från läsare som inte nödvändigtvis hävdar att risken är omöjlig. De efterfrågar en exakt orsakskedja mellan generell kapacitet och mänsklighetens utrotning.

"Kan någon förklara för mig hur AI skulle kunna ”döda oss alla” utan att använda en atombomb eller någon typ av biologiskt medel som exempel? Jag säger inte ens att jag inte tror att det är möjligt, jag förstår bara uppriktigt sagt inte hur AI bokstavligen kan döda oss alla. Jag menar, jag förstår de sociala och ekonomiska konsekvenserna till viss del, men jag talar om det här domedagsscenariot som folk fortsätter att varna oss för utan att riktigt kunna vara konkreta." @LiLBilly___

Coxon nämner hackning och förvärv av resurser och verklig makt. Men hans tråd beskriver inte en följd av operativa steg, exempelvis tillgång till infrastruktur, kringgående av motåtgärder, mobilisering av resurser och omöjligheten av ett samordnat mänskligt svar.

Diskussionen tillbakavisar inte direkt Coxons vittnesmål om farhågorna bakom stängda dörrar, utan kräver en mycket mer exakt redogörelse för det aviserade hotet.

Gränsen mellan intelligens och fysisk makt

@philipturnerar ifrågasätter idén att överlägsen intelligens skulle vara tillräcklig för att radikalt förändra den materiella världen.

"Jag tror att människor i allt högre grad suddar ut gränsen mellan verkligheten och science fiction-filmer. Hur ska en teoretisk modell av verkligheten kunna förändra något genom att bli ännu mer teoretisk? Att en smart person blir ännu smartare förändrar inte det faktum att fysiska saker i den fysiska världen kräver resurser och tester. Ge inte dina lösenord eller din operativa säkerhetsinformation till en artificiell intelligens. Jag skakar på huvudet..." @philipturnerar

Denna invändning riktar sig direkt mot det andra inlägget. Coxon hävdar att systemen kommer att kunna förvärva resurser och makt, men beskriver inte de fysiska, juridiska, finansiella eller institutionella begränsningar som skulle kunna begränsa, eller inte begränsa, ett sådant förvärv.

Hans tråd bemöter inte @philipturnerar direkt. Oenigheten kvarstår helt och hållet: enligt Coxon kan framsteg i kapacitet omsättas i verklig makt. Enligt hans meningsmotståndare kan intelligens varken ersätta resurser eller experiment i den fysiska världen.

Måste en varning vara falsifierbar?

@_4lex_4 kräver att varningarna formuleras som en verifierbar förutsägelse och att det får konsekvenser om den visar sig vara felaktig.

"Kan du:

1. Göra en konkret förutsägelse som faktiskt är falsifierbar
2. Om din förutsägelse är felaktig, be om ursäkt och lämna AI-domedagsbranschen Domedagssörjan är så tröttsam, Yudkowsky är inte smart, om Dario hade fått som han ville skulle GPT-2 ha stängts ner 2019" @_4lex_4

Coxon anger visserligen en tidshorisont, ”före årtiondets slut”, men han föreslår inga mellanliggande indikatorer. Inga observerbara kapacitetströsklar, inga utlösande villkor och inga scenarier som skulle kunna bekräfta eller vederlägga hans bedömning förekommer i tråden.

Varningen är allvarlig, men den är inte formulerad som en testbar hypotes.

Säga upp sig eller stanna kvar för att påverka inifrån?

Beslutet att lämna Anthropic ifrågasätts också. @FlyaKiet undrar varför ett offentligt avhopp skulle vara mer verkningsfullt än påtryckningar internt.

"Nyfiken på varför du tror att det skulle hjälpa att säga upp dig? Varför inte stanna kvar, förespråka rätt tillvägagångssätt och driva på för verklig intern förändring? Det verkar som om du har försatt dig i en position med mindre inflytande, vilket kommer att förvärra problemet." @FlyaKiet

Coxon besvarar inte denna fråga i den återgivna konversationen. Hans första inlägg bekräftar uppsägningen, men redogör inte för strategin bakom beslutet. Utifrån enbart tråden går det därför inte att veta om han anser att de interna möjligheterna är uttömda, om hans offentliga uttalande syftar till att utlösa en extern mobilisering eller om han förbereder någon annan form av åtgärd.

Vad kan allmänheten göra?

@ZayraYves flyttar diskussionen från laboratorierna till personer som saknar teknisk expertis, stora förmögenheter eller tillgång till maktens kretsar.

"Kan någon förklara vad vi som varken är tekniker, miljardärer eller bunkerägare förväntas göra med den här informationen? Jag menar allvar. Alla slår larm dygnet runt, 24/7, men ingen verkar ha en rimlig global lösning som kan tillämpas av vem som helst, var som helst. Det är bara tamburiner och clowner." @ZayraYves

Denna invändning blottlägger en viktig begränsning i tråden. Coxon uppmanar forskare att kräva ”andra villkor”, men ger ingen färdplan för medborgare, icke-tekniska anställda, folkvalda, tillsynsmyndigheter eller internationella institutioner.

Mellan diagnosen av laboratorierna och kollektiv handling lämnar tråden ett praktiskt tomrum.

Genomförbarheten av ett tillfälligt förbud

Det sjätte inlägget tar upp en långtgående åtgärd: ett tillfälligt förbud mot att förbättra modellernas kapacitet. @Modernengineer riktar direkt in sig på frågan om hur det skulle genomföras.

"Seriös fråga. Hur skulle man över huvud taget kunna införa ett tillfälligt förbud? Vem går frivilligt med på detta? Jag förstår viljan att ta ansvar, men hur ansvarsfullt är det att låta illvilliga aktörer ta ledningen på ett sätt som kanske aldrig går att överträffa igen?" @Modernengineer

Skärmbilden som delas av @Modernengineer visar just ett inlägg av Jacob Coxon i mörkt läge. Uttrycket ”ett tillfälligt förbud mot att förbättra modellernas kapacitet” är gulmarkerat. Bilden synliggör den mest kontroversiella delen av hans förslag: han medger att åtgärden skulle kunna bli kostsam, utan att förklara hur den skulle kunna genomdrivas.

Coxon svarar inte direkt på @Modernengineer i det tillhandahållna materialet. Han försvarar möjligheten till samordning, men specificerar varken det rättsliga ramverket, verifieringsmekanismerna, sanktionerna eller hur laboratorier och stater som vägrar att samarbeta skulle hanteras.

Vad den här tråden slår fast och vad den lämnar obesvarat

Jacob Coxons tråd är anmärkningsvärd eftersom den formulerar en mer djupgående kritik än föreställningen att företagen helt enkelt borde vara försiktigare. Han beskriver en kapplöpning där aktörerna kan känna till en del av farorna men ändå fortsätta, eftersom de upplever att konkurrensincitamenten väger tyngre än alternativen.

Han driver framför allt tre teser:

• framtida modeller skulle snabbt kunna överträffa människor i uppgifter med konkreta konsekvenser;
• centrala personer inom ekosystemet för avancerad AI skulle redan i privata sammanhang frukta en existentiell risk från AI;
• beslutet att gå in i ”endgame” bör inte fattas i ett privat företags interna verktyg.

Men diskussionen visar också allt som denna varning ännu inte löser:

1. Vilken är den exakta mekanismen för mänsklighetens utplåning? Tråden nämner hackning, resurser och makt utan att lägga fram ett fullständigt operativt scenario.

2. Vilka kriterier skulle göra det möjligt att testa förutsägelsen? ”Före årtiondets slut” är en tidsfrist, inte ett verifieringsprotokoll.

3. Varför säga upp sig i stället för att påverka inifrån? Coxon beskriver inte vilken konkret effekt han förväntar sig av sitt offentliga avhopp.

4. Hur ska AI-laboratorier samordnas med tanke på Kina och andra aktörer? Samordning mellan amerikanska laboratorier är ännu inte ett bevisat svar på en global kapplöpning.

5. Vem skulle införa ett tillfälligt förbud mot att förbättra modellernas kapacitet? Förslaget anger varken en behörig myndighet, kontrollmekanismer eller ett sanktionssystem.

6. Vad ska icke-specialister göra? Tråden riktar sig till forskare, men omsätter inte allmänhetens oro i tydligt tillgängliga handlingsalternativ.

Trådens värde ligger alltså mindre i en färdig lösning än i den motsägelse den blottlägger: om de aktörer som har bäst förutsättningar att bedöma risken anser att den är allvarlig, måste de offentligt förklara varför de skyndar på utvecklingen, vilka skyddsåtgärder de accepterar och vem som har legitimitet att besluta om takten.