Forsker forlader Anthropic og advarer om de forestående farer ved superintelligens

Jacob Coxons tråd, syv argumenter i rækkefølge

1. Opsigelsen efter tre år i centrum af pretraining

I sit første opslag meddeler Jacob Coxon, at han har sagt op hos Anthropic. Han oplyser, at han har brugt de seneste tre år på at arbejde med pretraining, først hos OpenAI og derefter hos Anthropic.

Pretraining er den fase, hvor en model lærer ud fra meget store datasæt. Der er således tale om en rolle, der er direkte knyttet til udviklingen af frontier-modellers kapacitet, snarere end en perifer funktion inden for kommunikation eller offentlig politik.

Coxon hævder, at hverken OpenAI eller Anthropic »handler ansvarligt«. Ifølge ham kapløber de direkte mod en superintelligens, der er i stand til at forbedre sig selv, og sætter alles liv på spil.

Hans udgangspunkt er et vidnesbyrd indefra, ikke en ekstern kritik af branchen. Det beviser ikke i sig selv den påståede fare, men forklarer budskabets gennemslagskraft. Han beskriver ikke en abstrakt bekymring over automatisering. Han hævder at have observeret dynamikken i AI-kapløbet på nært hold.

2. Snart overmenneskelige systemer, der kan handle i verden

I sit andet opslag beder Coxon folk om ikke at undervurdere styrken ved den teknologi, der er under udvikling. Han beskriver systemer, som snart vil blive overmenneskelige og i stand til at hacke ethvert system, revolutionere hele fagområder fra den ene dag til den anden samt opnå reel magt og reelle ressourcer.

Han fremhæver to forhold:

• de fremskridt, der ses inden for hacking, videnskab og planlægningsevner;
• at der ikke er nogen synlig opbremsning i disse fremskridt.

Hans ræsonnement bygger derfor ikke kun på en AI, der kan besvare spørgsmål bedre. Han forudser mere generelle systemer, som kan skabe hurtige gennembrud og gribe ind i infrastrukturer, organisationer eller materielle ressourcer.

Coxons argument er, at en højere intelligens kan omsættes til reel magt, langt ud over en simpel samtaleassistent.

Netop denne formulering møder indvendinger fra dem, der peger på de materielle begrænsninger. Ifølge dem gør højere intelligens det ikke automatisk muligt at fremstille, flytte, kontrollere eller teste genstande i den fysiske verden.

3. En frygt, som privat udtrykkes af dem, der udvikler AI

Det tredje opslag går et skridt videre. Coxon skriver, at de mennesker, der udvikler AI, oprigtigt tror, at den kan slå os alle ihjel inden årtiets udgang. Han understreger, at der ikke skulle være tale om et markedsføringsargument.

Ifølge ham anvender mange ledere og seniorforskere mere forsigtige formuleringer offentligt for at fremstå rimelige. Men privat, hævder han, giver de samme personer udtryk for deres frygt. Han tilføjer, at ingen anden menneskelig aktivitet skulle indebære et tilsvarende fareniveau.

Denne del af tråden er afgørende, fordi den ikke siger, at alle medarbejdere hos OpenAI og Anthropic deler den samme overbevisning. Coxon henviser til visse personer blandt dem, der udvikler og leder arbejdet med frontier-modellerne, med varierende grader af overbevisning.

Kernen i hans anklage er en dissonans mellem nogle aktørers private frygt og den offentlige fortsættelse af kapløbet.

Kommentarerne betragter dog ikke dette vidnesbyrd som et endeligt fastslået faktum. De understreger først og fremmest, at selv hvis ledere frygter en katastrofe, forklarer denne frygt endnu ikke, hvordan den skulle indtræffe.

4. Hvorfor fortsætte hos OpenAI og Anthropic?

Det fjerde opslag besvarer den mest oplagte indvending: Hvis de berørte personer virkelig tror på faren, hvorfor fortsætter de så arbejdet?

Coxon fremsætter to forskellige diagnoser.

1. Hos OpenAI skulle mange ikke for alvor have internaliseret de civilisatoriske konsekvenser. Risikoen indgår ganske vist i diskussionerne, men forbliver en abstraktion, der ikke i tilstrækkelig grad er integreret i de daglige beslutninger.

2. Hos Anthropic skulle konsekvenserne derimod være vel forstået. Problemet skulle derfor ikke være uvidenhed. Coxon hævder snarere, at virksomheden er fastlåst i et kapløb om at komme først, fordi dens medarbejdere vurderer, at ingen andre vil handle ansvarligt. Ifølge denne logik er man derfor nødt til at vinde trods risikoen.

Denne sondring er vigtig. Den forhindrer, at hans pointe reduceres til en forestilling om, at laboratorierne blot er uforsigtige eller uvidende. Hos OpenAI beskriver han en manglende internalisering. Hos Anthropic beskriver han en bevidst konkurrencelogik på trods af en udtrykkelig forståelse af risiciene.

Tråden fremstiller således AI-kapløbet som et problem med styring og strategi i lige så høj grad som med AI-sikkerhed eller alignment.

5. »Endgame«, et væddemål, der ikke bør overlades til en privat virksomhed

I sit femte opslag betegner Coxon accepten af dette kapløb og indtrædelsen i »endgame« som et overmodigt væddemål. Han hævder, at en sådan beslutning ikke bør træffes fra en privat virksomheds Slack.

Denne formulering forskyder debatten. Coxon efterspørger ikke blot flere evalueringer, tekniske sikkerhedsforanstaltninger eller forskere inden for alignment. Han bestrider legitimiteten af en privat beslutning om en udviklingsbane, som han anser for potentielt irreversibel for menneskeheden.

Han tilføjer, at et forsøg på at fremskynde alignment, med andre ord at løse problemet med at gøre avanceret AI varigt forenelig med menneskelige mål så hurtigt som muligt, ville kræve en ekstraordinær tillid til, at der ikke findes bedre udviklingsbaner.

Hans indvending vedrører selve nogle få private organisationers ret til at beslutte sig for en sprint mod superintelligens.

Dette er samtidig det punkt, der er mindst udviklet på det operationelle plan. Coxon mener, at der kan findes bedre udviklingsbaner, men uddyber hverken hvilke eller hvem der skulle have ansvaret for at vælge dem.

6. Koordinering mellem amerikanske laboratorier og derefter et muligt midlertidigt forbud

I sit sjette opslag udtrykker Coxon optimisme med hensyn til potentialet for koordinering. Han vurderer, at advarselssignaler såsom angrebet på Hugging Face har gjort aftaler mellem amerikanske laboratorier om udviklingstempoet mere realistiske.

Han præciserer dog, at han ikke mener, at verden i øjeblikket er på rette vej til at forhindre et globalt kapløb. En sådan forebyggelse kan ifølge ham kræve omkostningsfulde tiltag såsom et midlertidigt forbud mod at forbedre modellers kapaciteter, hvilket i hans tekst formuleres som et midlertidigt forbud mod at forbedre disse kapaciteter.

Spørgsmålet bliver dermed politisk og institutionelt: Hvem koordinerer, hvem fører kontrol, hvem sanktionerer overtrædelser, og hvordan forhindrer man, at en aktør, der ikke samarbejder, accelererer, mens de andre sænker tempoet?

Billedet, som @TorstenProchnow har delt, illustrerer en ekstrem version af denne bekymring: To soldater står i sneen ved siden af en åben, cirkulær luge, hvorfra en stor rød kegle rager op under et løftet metallåg. Det henviser til frygten for en AI, der en dag vil kunne kompromittere våbensystemer.

Coxon opfordrer til koordinering mellem AI-laboratorier, men fremlægger hverken en håndhævelsesmekanisme, en liste over deltagere eller et præcist svar vedrørende aktører, der ikke samarbejder.

7. Den afsluttende appel til laboratoriernes forskere

I sit sidste opslag henvender Coxon sig direkte til forskere på laboratorierne. Han beder dem konkret forestille sig, hvordan de kommende år vil se ud.

Ønsker de at igangsætte en træning med reinforcement learning, eller RL, med henblik på at skabe en superintelligens uden at have en stringent forståelse af dens sind? Skal de dukke nakken, fordi »det sker alligevel«, eller gribe øjeblikket til at kræve andre vilkår?

Appellen er moralsk, men også professionel. Den opfordrer forskere til ikke at tage den institutionelle kontekst for givet. Den beder dem om at betragte forskningsvilkår, tærskler for udrulning og beslutninger om kapacitet som områder, de har et ansvar for.

Tråden slutter med en opfordring til intern dissens, men lader spørgsmålet om, hvilke handlemuligheder personer uden for laboratorierne har, stå åbent.

Svarene: en skarpere debat om evidens, Kina og handlemuligheder

Diskussionen under tråden begrænser sig ikke til tilslutning eller afvisning. De stærkeste indvendinger retter sig mod tre områder: den tekniske plausibilitet af udryddelsesscenariet, det geopolitiske dilemma med Kina og manglen på konkrete tiltag til at bremse kapløbet.

Kina som fastlåsende argument

Svaret fra @timschuster sammenfatter den strategiske logik, der går igen flere gange: At bremse de amerikanske laboratorier ville være ensbetydende med at overlade forspringet til Kina.

"Vil du hellere have, at Kina vinder AI-kapløbet? Der er intet alternativ til at gøre fremskridt så hurtigt som muligt. Det er bydende nødvendigt for den nationale sikkerhed." @timschuster

Dette svar har ikke fået et direkte svar fra Coxon i det tilgængelige materiale. Hans sjette opslag opfordrer ikke til at lade Kina udvikle frontlinjekapaciteter alene. Tværtimod nævner han koordinering mellem amerikanske laboratorier og målet om at forhindre et globalt kapløb.

Men det er netop det manglende led: Hvordan skulle aftaler mellem amerikanske virksomheder forhindre et globalt kapløb? Spørgsmålet om Kina rejses, men står fortsat uden et præcist svar.

Den konkrete mekanisme bag en katastrofe mangler fortsat

Den centrale empiriske kritik kommer fra læsere, som ikke nødvendigvis siger, at risikoen er umulig. De efterlyser en præcis årsagskæde mellem generelle kapaciteter og menneskehedens udryddelse.

"Kan nogen forklare mig, hvordan AI skulle kunne »dræbe os alle« uden at bruge en atombombe eller en form for biologisk middel som eksempel? Jeg siger ikke engang, at jeg ikke tror, det kan ske; jeg forstår oprigtigt bare ikke, hvordan AI bogstaveligt talt kan dræbe os alle. Jeg forstår til en vis grad de sociale og økonomiske konsekvenser, men jeg taler om det dommedagsscenarie, som folk bliver ved med at advare os om, men tilsyneladende ikke helt kan beskrive konkret." @LiLBilly___

Coxon nævner hacking samt tilegnelse af ressourcer og reel magt. Men hans tråd beskriver ikke en række operationelle trin i detaljer, eksempelvis adgang til infrastruktur, omgåelse af modforanstaltninger, mobilisering af ressourcer og umuligheden af en koordineret menneskelig reaktion.

Diskussionen afviser ikke direkte Coxons vidnesbyrd om den private frygt, men kræver en langt mere præcis påvisning af den varslede fare.

Grænsen mellem intelligens og fysisk magt

@philipturnerar bestrider idéen om, at en overlegen intelligens i sig selv er tilstrækkelig til at forandre den materielle verden radikalt.

"Jeg tror, at folk i stigende grad udvisker grænsen mellem virkeligheden og science fiction-film. Hvordan skulle en teoretisk model af virkeligheden kunne ændre noget ved at blive mere teoretisk? At en klog person bliver endnu klogere, ændrer ikke ved, at fysiske ting i den fysiske verden kræver ressourcer og afprøvning. Giv ikke dine adgangskoder eller oplysninger om operationssikkerhed til en kunstig intelligens. Jeg ryster på hovedet..." @philipturnerar

Denne indvending er rettet direkte mod det andet opslag. Coxon hævder, at systemerne vil kunne tilegne sig ressourcer og magt, men beskriver ikke de fysiske, juridiske, finansielle eller institutionelle begrænsninger, der ville eller ikke ville hæmme denne tilegnelse.

Hans tråd svarer ikke direkte på @philipturnerar. Uenigheden består uformindsket: For Coxon kan fremskridt i kapacitet omsættes til reel magt. For hans modpart kan intelligens hverken erstatte ressourcer eller eksperimenter i den fysiske verden.

Skal en advarsel kunne falsificeres?

@_4lex_4 kræver, at advarslerne formuleres som en verificerbar forudsigelse med konsekvenser, hvis den viser sig at være forkert.

"Kan du:

1. Komme med en konkret forudsigelse, der rent faktisk kan falsificeres
2. Hvis din forudsigelse er forkert, så sige undskyld og forlade AI-dommedagsbranchen Dommedagssnak er så trættende, Yudkowsky er ikke klog, og hvis Dario havde fået sin vilje, var GPT-2 blevet lukket ned i 2019" @_4lex_4

Coxon angiver ganske vist en tidshorisont, »inden udgangen af årtiet«, men han opstiller ingen delmål. Tråden indeholder hverken en observerbar kapacitetstærskel, en udløsende betingelse eller et scenarie, der gør det muligt at bekræfte eller afkræfte hans diagnose.

Advarslen er alvorlig, men den er ikke formuleret som en testbar hypotese.

Sige op eller blive for at øve indflydelse indefra?

Beslutningen om at forlade Anthropic bliver også anfægtet. @FlyaKiet spørger, hvorfor en offentlig afgang skulle være mere nyttig end internt pres.

"Jeg er nysgerrig efter at vide, hvorfor du mener, at det ville hjælpe at sige op? Hvorfor ikke blive og argumentere for den rigtige tilgang og presse på for reelle interne forandringer? Det virker, som om du har bragt dig selv i en position med mindre indflydelse, hvilket vil gøre problemet værre" @FlyaKiet

Coxon besvarer ikke dette spørgsmål i den fremlagte samtale. Hans første opslag bekræfter opsigelsen, men redegør ikke for strategien bag denne afgang. Det er derfor umuligt alene ud fra tråden at vide, om han mener, at de interne muligheder er udtømte, om hans udmelding har til formål at udløse ekstern mobilisering, eller om han forbereder en anden form for handling.

Hvad kan offentligheden gøre?

@ZayraYves flytter diskussionen fra laboratorierne til personer uden teknisk ekspertise, betydelig formue eller adgang til magtens inderkredse.

"Kan nogen forklare, hvad vi mennesker uden teknisk baggrund, milliarder eller en bunker skal stille op med disse oplysninger? Helt ærligt? Alle slår alarm døgnet rundt, 24/7, men ingen synes at have en rimelig global løsning, der gælder for alle overalt. Det er ikke andet end tamburiner og klovne." @ZayraYves

Denne indvending afslører en væsentlig begrænsning ved tråden. Coxon opfordrer forskere til at kræve »andre vilkår«, men giver ingen køreplan til borgere, ikke-tekniske medarbejdere, folkevalgte, tilsynsmyndigheder eller internationale institutioner.

Mellem diagnosen af laboratorierne og kollektiv handling efterlader tråden et praktisk tomrum.

Muligheden for et midlertidigt forbud

Det sjette opslag omtaler et vidtgående tiltag: et midlertidigt forbud mod at forbedre modellernes kapaciteter. @Modernengineer retter fokus direkte mod spørgsmålet om, hvordan det skal håndhæves.

"Seriøst spørgsmål. Hvordan skulle man overhovedet kunne gennemføre et midlertidigt forbud? Hvem går frivilligt med til det? Jeg forstår ønsket om at være ansvarlig, men hvor ansvarligt er det at lade ondsindede aktører tage føringen, hvis de måske aldrig sidenhen kan overgås?" @Modernengineer

Skærmbilledet, som @Modernengineer har delt, viser netop et opslag fra Jacob Coxon i mørk tilstand. Udtrykket »a temporary ban on improving model capabilities« er fremhævet med gult. Billedet synliggør det mest kontroversielle punkt i hans forslag: Han erkender, at tiltaget kan blive omkostningsfuldt, uden at forklare, hvordan det kan gennemtvinges.

Coxon svarer ikke direkte på @Modernengineer i det fremlagte materiale. Han forsvarer muligheden for koordinering, men præciserer hverken de juridiske rammer, kontrolmekanismerne, sanktionerne eller håndteringen af laboratorier eller stater, der nægter at samarbejde.

Hvad denne tråd fastslår, og hvad den lader stå åbent

Jacob Coxons tråd er bemærkelsesværdig, fordi den fremsætter en dybere kritik end blot idéen om, at virksomhederne bør være mere forsigtige. Han beskriver et kapløb, hvor aktørerne måske kender nogle af farerne, men fortsætter, fordi de konkurrencemæssige incitamenter forekommer dem stærkere end alternativerne.

Han fremsætter især tre teser:

• fremtidige modeller kan hurtigt overgå mennesker i opgaver med konkrete konsekvenser;
• centrale personer i økosystemet omkring avanceret AI skulle allerede privat frygte en eksistentiel risiko fra AI;
• beslutningen om at gå ind i »endgame« bør ikke træffes i en privat virksomheds interne værktøjer.

Men diskussionen viser også alt det, som denne advarsel endnu ikke løser:

1. Hvad er den præcise mekanisme bag en udslettelse? Tråden nævner hacking, ressourcer og magt uden at fremlægge et fuldstændigt operationelt scenarie.

2. Hvilke kriterier ville gøre det muligt at efterprøve forudsigelsen? »Inden udgangen af årtiet« er en tidsfrist, ikke en protokol for efterprøvning.

3. Hvorfor sige op i stedet for at øve indflydelse indefra? Coxon beskriver ikke konkret, hvilken effekt han forventer af sin offentlige afgang.

4. Hvordan kan AI-laboratorierne koordinere sig i forhold til Kina og andre aktører? Koordinering mellem amerikanske laboratorier er endnu ikke et dokumenteret svar på et globalt kapløb.

5. Hvem skulle indføre et midlertidigt forbud mod at forbedre modellernes kapaciteter? Forslaget angiver hverken en kompetent myndighed, kontrol eller en sanktionsordning.

6. Hvad skal ikke-specialister gøre? Tråden henvender sig til forskerne, men omsætter ikke offentlighedens bekymring til klart tilgængelige handlemuligheder.

Trådens værdi ligger derfor mindre i en færdig løsning end i den modsætning, den afdækker: Hvis de aktører, der er bedst placeret til at vurdere risikoen, anser den for alvorlig, må de offentligt forklare, hvorfor de sætter tempoet op, hvilke beskyttelsesforanstaltninger de accepterer, og hvem der har legitimitet til at bestemme tempoet.