Forsker forlater Anthropic og advarer mot farene ved nært forestående superintelligens

Jacob Coxons tråd: sju argumenter etter hverandre

1. Oppsigelsen, etter tre år i kjernen av forhåndstreningen

I sitt første innlegg kunngjør Jacob Coxon at han har sagt opp hos Anthropic. Han opplyser at han har brukt de siste tre årene på å arbeide med forhåndstrening, først hos OpenAI, deretter hos Anthropic.

Forhåndstrening er fasen der en modell lærer fra svært store datasett. Det dreier seg dermed om en rolle som er direkte knyttet til kapabilitetsøkningen i frontlinjemodeller, snarere enn en perifer stilling innen kommunikasjon eller offentlig politikk.

Coxon hevder at verken OpenAI eller Anthropic «opptrer ansvarlig». Ifølge ham kappløper de direkte mot en superintelligens som kan forbedre seg selv, og gambler med alles liv.

Utgangspunktet hans er et vitnesbyrd fra innsiden, ikke en ekstern kritikk av bransjen. Dette beviser ikke i seg selv den varslede faren, men forklarer budskapets gjennomslagskraft. Han beskriver ikke en abstrakt bekymring for automatisering. Han hevder å ha observert dynamikken i KI-kappløpet på nært hold.

2. Snart overmenneskelige systemer som kan handle i verden

I sitt andre innlegg ber Coxon folk om ikke å undervurdere kraften i teknologien som er under utvikling. Han beskriver systemer som snart vil bli overmenneskelige, i stand til å hacke ethvert system, revolusjonere hele fagfelt over natten og skaffe seg makt og reelle ressurser.

Han fremhever to forhold:

• fremskrittene som er observert innen hacking, vitenskap og planleggingsevne;
• fraværet av noen synlig nedgang i disse fremskrittene.

Resonnementet hans bygger dermed ikke bare på en KI som svarer bedre på spørsmål. Han forutser mer generelle systemer som kan skape raske gjennombrudd og gripe inn i infrastruktur, organisasjoner eller materielle ressurser.

Coxons argument er at overlegen intelligens kan omsettes i reell makt, langt utover en enkel samtaleassistent.

Det er nettopp denne formuleringen som møter innvendinger fra dem som peker på de materielle begrensningene. Ifølge dem innebærer ikke høyere intelligens automatisk evne til å produsere, flytte, kontrollere eller teste gjenstander i den fysiske verden.

3. En frykt som uttrykkes privat av dem som bygger KI

Det tredje innlegget går et skritt videre. Coxon skriver at menneskene som bygger KI, oppriktig tror at teknologien kan drepe oss alle før utgangen av tiåret. Han understreker at dette ikke skal være et markedsføringsargument.

Ifølge ham bruker mange toppledere og seniorforskere mer forsiktige formuleringer offentlig for å fremstå som rimelige. Men privat, hevder han, gir de samme personene uttrykk for frykt. Han legger til at ingen annen menneskelig aktivitet skal innebære et tilsvarende farenivå.

Denne delen av tråden er avgjørende, fordi den ikke sier at alle ansatte hos OpenAI og Anthropic deler nøyaktig den samme overbevisningen. Coxon viser til enkelte av dem som bygger og leder utviklingen av frontlinjemodeller, med varierende grad av overbevisning.

Kjernen i anklagen hans er en motsetning mellom enkelte aktørers private frykt og den offentlige videreføringen av kappløpet.

Kommentarene tar imidlertid ikke denne beretningen som et endelig fastslått faktum. De understreker først og fremst at selv om ledere frykter en katastrofe, forklarer ikke denne frykten hvordan den faktisk skulle inntreffe.

4. Hvorfor fortsette hos OpenAI og Anthropic?

Det fjerde innlegget svarer på den mest åpenbare innvendingen: Hvis de involverte virkelig tror på faren, hvorfor fortsetter de arbeidet?

Coxon foreslår to ulike diagnoser.

1. Hos OpenAI skal mange ikke ha tatt de sivilisasjonsmessige konsekvensene ordentlig innover seg. Risikoen diskuteres, men forblir en abstraksjon som ikke i tilstrekkelig grad er integrert i de daglige beslutningene.

2. Hos Anthropic skal konsekvensene derimot være godt forstått. Problemet skal dermed ikke være mangel på kunnskap. Coxon hevder i stedet at selskapet er fanget i et kappløp om å komme først, fordi medarbeiderne mener at ingen andre vil opptre ansvarlig. Ifølge denne logikken må de derfor vinne til tross for risikoen.

Dette skillet er viktig. Det hindrer at budskapet hans reduseres til en påstand om at laboratoriene ganske enkelt er uforsiktige eller uvitende. Hos OpenAI beskriver han en manglende internalisering. Hos Anthropic beskriver han en bevisst konkurranselogikk til tross for en uttrykkelig forståelse av risikoene.

Tråden fremstiller dermed AI-kappløpet som et problem knyttet til styring og strategi, like mye som til AI-sikkerhet eller alignment.

5. «Endgame»: et veddemål som ikke bør overlates til et privat selskap

I sitt femte innlegg omtaler Coxon det å akseptere dette kappløpet og gå inn i «endgame» som et hybrispreget veddemål. Han hevder at en slik beslutning ikke bør tas i Slack-kanalene til et privat selskap.

Denne formuleringen flytter debatten. Coxon etterlyser ikke bare flere evalueringer, tekniske sikkerhetstiltak eller forskere innen alignment. Han bestrider legitimiteten til en privat beslutning om en utviklingsbane som han mener kan bli irreversibel for menneskeheten.

Han legger til at et forsøk på å fremskynde alignment, med andre ord å løse problemet med å gjøre en avansert AI varig forenlig med menneskelige mål i all hast, ville kreve en ekstraordinær tillit til at det ikke finnes bedre utviklingsbaner.

Innvendingen hans gjelder selve retten noen få private organisasjoner har til å beslutte en sprint mot superintelligens.

Dette er også det minst utviklede punktet på det praktiske planet. Coxon mener at det kan finnes bedre utviklingsbaner, men utdyper verken hvilke de er, eller hvem som skal ha ansvaret for å velge dem.

6. Koordinering mellom amerikanske laboratorier, deretter et mulig midlertidig forbud

I sitt sjette innlegg sier Coxon at han er optimistisk med tanke på potensialet for koordinering. Han mener at varselsignaler, som angrepet mot Hugging Face, har gjort avtaler om utviklingstakten mellom amerikanske laboratorier mer realistiske.

Han presiserer imidlertid at han ikke mener verden for øyeblikket er på rett vei til å forhindre et globalt kappløp. Å forhindre dette kan, sier han, kreve kostbare tiltak, som et midlertidig forbud mot modellkapabiliteter, i teksten hans formulert som et midlertidig forbud mot å forbedre disse kapabilitetene.

Spørsmålet blir da politisk og institusjonelt: Hvem koordinerer, hvem fører tilsyn, hvem sanksjonerer brudd, og hvordan kan man hindre at en aktør som ikke samarbeider, akselererer mens de andre bremser?

Bildet som er delt av @TorstenProchnow, illustrerer en ekstrem versjon av denne bekymringen: To soldater står i snøen ved en åpen, sirkelformet luke, der en stor rød kjegle stikker opp under et hevet metallokk. Det viser til frykten for en AI som en dag kan kompromittere våpensystemer.

Coxon oppfordrer til koordinering mellom AI-laboratorier, men gir verken noen håndhevingsmekanisme, noen liste over deltakere eller noe presist svar om aktører som ikke samarbeider.

7. Den avsluttende appellen til forskerne ved laboratoriene

I sitt siste innlegg henvender Coxon seg direkte til forskerne ved laboratoriene. Han ber dem forestille seg konkret hvordan de kommende årene vil bli.

Ønsker de å sette i gang trening med reinforcement learning, eller RL, med sikte på en superintelligens uten å ha en grundig forståelse av hvordan den tenker? Skal de bøye hodet fordi «det skjer uansett», eller gripe øyeblikket og kreve andre rammebetingelser?

Oppfordringen er moralsk, men også profesjonell. Den oppfordrer forskere til ikke å ta den institusjonelle konteksten for gitt. Den ber dem behandle forskningsvilkår, terskler for utrulling og beslutninger om kapasitetsnivå som spørsmål de har et ansvar for.

Tråden avsluttes med en oppfordring til intern dissens, men lar spørsmålet om hvilke virkemidler som er tilgjengelige for personer utenfor laboratoriene, stå åpent.

Svarene: en skarpere debatt om bevis, Kina og handlingsmuligheter

Diskusjonen under tråden begrenser seg ikke til støtte eller avvisning. De sterkeste innvendingene retter seg mot tre områder: den tekniske plausibiliteten ved utryddelsesscenarioet, det geopolitiske dilemmaet knyttet til Kina og mangelen på konkrete tiltak for å bremse kappløpet.

Kina som argument for fastlåsing

Svaret fra @timschuster oppsummerer den strategiske logikken som går igjen flere ganger: Å bremse amerikanske laboratorier ville være det samme som å gi Kina forspranget.

"Would you rather China wins the AI race? There is no alternative but to go progress as quickly as possible. It is a National Security imperative." @timschuster

Dette svaret fikk ingen direkte respons fra Coxon i det tilgjengelige materialet. Det sjette innlegget hans oppfordrer ikke til å la Kina utvikle frontier-kapasiteter alene. Tvert imot nevner han koordinering mellom amerikanske laboratorier og målet om å forhindre et globalt kappløp.

Men det er nettopp dette som er det manglende mellomleddet: Hvordan skulle avtaler mellom amerikanske selskaper kunne forhindre et globalt kappløp? Kina-spørsmålet blir tatt opp, men forblir ubesvart på en presis måte.

Den konkrete mekanismen bak en katastrofe mangler fortsatt

Den sentrale empiriske kritikken kommer fra lesere som ikke nødvendigvis hevder at risikoen er umulig. De etterlyser en presis årsakskjede mellom generelle kapasiteter og menneskehetens utryddelse.

"Could someone explain to me how AI could “kill us all” without using a nuke or some type of biological means as an example? I’m not even saying I don’t believe it could, I just genuinely don’t understand how AI can literally kill us all. I mean I understand the social and economic impact to a degree but I’m talking about this doomsday scenario people keep warning us about but can’t quite seem to be specific about." @LiLBilly___

Coxon nevner hacking og tilegnelse av ressurser og reell makt. Men tråden hans beskriver ikke en rekke operative trinn i detalj, som for eksempel tilgang til infrastruktur, omgåelse av mottiltak, mobilisering av ressurser og manglende mulighet for en koordinert menneskelig respons.

Diskusjonen tilbakeviser ikke direkte Coxons vitnesbyrd om frykten som uttrykkes privat, men krever en langt mer presis redegjørelse for den varslede faren.

Grensen mellom intelligens og fysisk makt

@philipturnerar bestrider forestillingen om at overlegen intelligens alene er nok til å forandre den materielle verden radikalt.

"I think people are increasingly blurring the line between reality and science fiction movies. How is a theoretical model of reality going to change anything by becoming more theoretical? A smart person being even smarter doesn't change the fact that physical things in the physical world require resources & testing. Don't give your passwords or opsec to an artificial intelligence. Shaking my head..." @philipturnerar

Denne innvendingen retter seg direkte mot det andre innlegget. Coxon hevder at systemene vil kunne tilegne seg ressurser og makt, men beskriver ikke de fysiske, juridiske, økonomiske eller institusjonelle begrensningene som eventuelt ville begrense denne tilegnelsen.

Tråden hans svarer ikke direkte på @philipturnerar. Uenigheten består fullt ut: For Coxon kan fremskritt i kapasitet omsettes i reell makt. For motdebattanten hans kan intelligens verken erstatte ressurser eller eksperimentering i den fysiske verden.

Må et varsel kunne falsifiseres?

@_4lex_4 ber om at advarslene formuleres som en etterprøvbar prediksjon, med konsekvenser dersom den viser seg å være feil.

"Can you:

1. Make a concrete prediction that is actually falsifiable
2. If your prediction is wrong, say you’re sorry, and exit the AI doomer business Doomer slop is so tiresome, Yudkowsky is not smart, if Dario had gotten his way GPT-2 would have been shut down in 2019" @_4lex_4

Coxon angir riktignok en tidshorisont, «innen utgangen av tiåret», men foreslår ingen delindikatorer. Tråden inneholder ingen observerbar kapasitetsterskel, ingen utløsende betingelse og intet scenario som gjør det mulig å bekrefte eller avkrefte diagnosen hans.

Advarselen er alvorlig, men den er ikke formulert som en testbar hypotese.

Si opp eller bli værende for å påvirke innenfra?

Beslutningen om å forlate Anthropic blir også bestridt. @FlyaKiet spør hvorfor en offentlig avgang skulle være mer nyttig enn internt press.

«Nysgjerrig på hvorfor du tror det vil hjelpe å si opp? Hvorfor ikke bli værende og argumentere for den riktige tilnærmingen og presse på for reelle interne endringer? Det virker som om du har satt deg i en posisjon med mindre innflytelse, noe som vil gjøre problemet verre» @FlyaKiet

Coxon svarer ikke på dette spørsmålet i den gjengitte samtalen. Det første innlegget hans bekrefter oppsigelsen, men forklarer ikke strategien bak avgangen. Ut fra tråden alene er det derfor umulig å vite om han mener at de interne kanalene er uttømt, om uttalelsene hans er ment å utløse en ekstern mobilisering, eller om han forbereder en annen form for handling.

Hva kan offentligheten gjøre?

@ZayraYves flytter diskusjonen fra laboratoriene til personer uten teknisk ekspertise, betydelig formue eller tilgang til maktens sirkler.

«Kan noen forklare hva vi som verken er teknologer, milliardærer eller bunkereiere, skal gjøre med denne informasjonen? Helt alvorlig? Alle slår alarm døgnet rundt, men ingen ser ut til å ha en rimelig global løsning som kan brukes av hvem som helst, hvor som helst. Det er bare tamburiner og klovner.» @ZayraYves

Denne innvendingen avdekker en viktig begrensning ved tråden. Coxon oppfordrer forskere til å kreve «andre betingelser», men gir ingen handlingsplan for innbyggere, ikke-tekniske ansatte, folkevalgte, tilsynsmyndigheter eller internasjonale institusjoner.

Mellom diagnosen av laboratoriene og kollektiv handling etterlater tråden et praktisk tomrom.

Gjennomførbarheten av et midlertidig forbud

Det sjette innlegget nevner et kraftig tiltak: et midlertidig forbud mot å forbedre modellenes kapasiteter. @Modernengineer retter søkelyset direkte mot spørsmålet om hvordan dette skal håndheves.

«Seriøst spørsmål. Hvordan kan man i det hele tatt få til et midlertidig forbud? Hvem går frivillig med på dette? Jeg forstår ønsket om å opptre ansvarlig, men hvor ansvarlig er det å la ondsinnede aktører ta en ledelse som kanskje aldri kan innhentes igjen?» @Modernengineer

Skjermbildet som @Modernengineer har delt, viser nettopp et innlegg fra Jacob Coxon i mørk modus. Uttrykket «a temporary ban on improving model capabilities» er fremhevet med gult. Bildet synliggjør det mest omstridte punktet i forslaget hans: Han erkjenner at tiltaket kan bli kostbart, uten å forklare hvordan det kan påtvinges.

Coxon svarer ikke direkte på @Modernengineer i det fremlagte materialet. Han forsvarer muligheten for koordinering, men presiserer verken det juridiske rammeverket, kontrollmekanismene, sanksjonene eller hvordan man skal håndtere laboratorier eller stater som nekter å samarbeide.

Hva denne tråden fastslår, og hva den lar stå ubesvart

Tråden til Jacob Coxon er bemerkelsesverdig fordi den fremsetter en dypere kritikk enn bare ideen om at selskaper bør være mer forsiktige. Han beskriver et kappløp der aktørene kan være klar over noen av farene, men likevel fortsette fordi de konkurransemessige insentivene fremstår som sterkere enn alternativene.

Han fremsetter særlig tre teser:

• fremtidige modeller kan raskt overgå mennesker i oppgaver med konkrete konsekvenser;
• sentrale personer i økosystemet for KI i frontlinjen skal allerede privat frykte at KI utgjør en eksistensiell risiko;
• beslutningen om å gå inn i «sluttspillet» bør ikke tas i de interne verktøyene til et privat selskap.

Men diskusjonen viser også alt denne advarselen ennå ikke løser:

1. Hva er den nøyaktige mekanismen for utryddelse? Tråden nevner hacking, ressurser og makt, uten å presentere et fullstendig operasjonelt scenario.

2. Hvilke kriterier kan brukes til å teste forutsigelsen? «Før utgangen av tiåret» er en tidsfrist, ikke en verifikasjonsprotokoll.

3. Hvorfor si opp i stedet for å påvirke innenfra? Coxon beskriver ikke konkret hvilken effekt han forventer av sin offentlige avgang.

4. Hvordan skal KI-laboratoriene koordineres med tanke på Kina og andre aktører? Koordinering mellom amerikanske laboratorier er ennå ikke et dokumentert svar på et globalt kappløp.

5. Hvem skal håndheve et midlertidig forbud mot å forbedre modellenes kapasiteter? Forslaget omfatter verken en kompetent myndighet, kontrollmekanismer eller sanksjonsordninger.

6. Hva bør ikke-spesialister gjøre? Tråden henvender seg til forskere, men omsetter ikke offentlighetens bekymring til tydelige og tilgjengelige handlingsalternativer.

Verdien av tråden ligger derfor mindre i en ferdig løsning enn i motsetningen den avdekker: Hvis aktørene som er best posisjonert til å vurdere risikoen, anser den som alvorlig, må de offentlig forklare hvorfor de øker tempoet, hvilke sikkerhetstiltak de godtar, og hvem som har legitimitet til å bestemme fremdriften.