Onderzoeker verlaat Anthropic en waarschuwt voor de dreigende gevaren van superintelligentie

De thread van Jacob Coxon: zeven opeenvolgende argumenten

1. Het ontslag, na drie jaar in het hart van de pretraining

In zijn eerste bericht kondigt Jacob Coxon aan dat hij ontslag heeft genomen bij Anthropic. Hij verduidelijkt dat hij de afgelopen drie jaar aan pretraining heeft gewerkt, eerst bij OpenAI en daarna bij Anthropic.

Pretraining is de fase waarin een model leert op basis van zeer grote datasets. Het gaat dus om een rol die rechtstreeks verband houdt met de toenemende capaciteiten van grensverleggende modellen, en niet om een perifere functie op het gebied van communicatie of overheidsbeleid.

Coxon stelt dat noch OpenAI, noch Anthropic ‘verantwoordelijk handelt’. Volgens hem stevenen ze rechtstreeks af op een superintelligentie die zichzelf kan verbeteren en nemen ze daarbij een gok met ieders leven.

Zijn uitgangspunt is een getuigenis van binnenuit, geen kritiek van buitenaf op de sector. Dat bewijst op zichzelf niet dat het aangekondigde gevaar reëel is, maar verklaart wel de impact van het bericht. Hij beschrijft geen abstracte bezorgdheid over automatisering. Hij stelt dat hij de dynamiek van de AI-race van dichtbij heeft waargenomen.

2. Binnenkort bovenmenselijke systemen die in de wereld kunnen handelen

In zijn tweede post vraagt Coxon om de kracht van de technologie die wordt ontwikkeld niet te onderschatten. Hij beschrijft systemen die binnenkort bovenmenselijk zouden worden, elk systeem zouden kunnen hacken, hele vakgebieden van de ene op de andere dag zouden kunnen revolutioneren en daadwerkelijke macht en middelen zouden kunnen verwerven.

Hij benadrukt twee elementen:

• de waargenomen vooruitgang op het gebied van hacking, wetenschap en planningscapaciteiten;
• het ontbreken van een zichtbare vertraging in die vooruitgang.

Zijn redenering berust dus niet uitsluitend op een AI die vragen beter zou beantwoorden. Hij voorziet algemenere systemen die snelle doorbraken kunnen realiseren en kunnen ingrijpen in infrastructuren, organisaties of materiële hulpbronnen.

Coxons argument is dat superieure intelligentie kan worden omgezet in daadwerkelijke macht, veel verdergaand dan die van een eenvoudige conversatie-assistent.

Juist deze formulering roept bezwaren op bij degenen die wijzen op de materiële beperkingen. Volgens hen betekent intelligenter zijn niet automatisch dat je objecten in de fysieke wereld kunt vervaardigen, verplaatsen, controleren of testen.

3. Angst die achter gesloten deuren wordt geuit door de mensen die AI bouwen

De derde post gaat een stap verder. Coxon schrijft dat de mensen die AI bouwen oprecht geloven dat die ons allemaal vóór het einde van het decennium zou kunnen doden. Hij benadrukt dat dit geen marketingargument zou zijn.

Volgens hem zouden veel leidinggevenden en senior onderzoekers zich in het openbaar voorzichtiger uitdrukken om redelijk over te komen. Maar achter gesloten deuren, zo stelt hij, zouden diezelfde mensen hun angst uiten. Hij voegt eraan toe dat geen enkele andere menselijke activiteit een vergelijkbaar risiconiveau zou kennen.

Dit deel van de thread is essentieel, omdat Coxon niet zegt dat alle medewerkers van OpenAI en Anthropic precies dezelfde overtuiging delen. Hij doelt op bepaalde mensen die betrokken zijn bij het bouwen en leiden van grensverleggende modellen, met uiteenlopende gradaties van overtuiging.

De kern van zijn beschuldiging is een tegenstelling tussen de persoonlijke angst van sommige betrokkenen en het publiekelijk voortzetten van de wedloop.

De reacties beschouwen deze getuigenis echter niet als een definitief vastgesteld feit. Ze benadrukken vooral dat, zelfs als leiders een catastrofe vrezen, die angst nog niet verklaart hoe die zich zou voltrekken.

4. Waarom doorgaan bij OpenAI en Anthropic?

De vierde post geeft antwoord op het meest voor de hand liggende bezwaar: als de betrokkenen werkelijk in het gevaar geloven, waarom zetten ze hun werk dan voort?

Coxon stelt twee verschillende diagnoses.

1. Bij OpenAI zouden veel mensen de beschavingsbrede implicaties niet werkelijk hebben geïnternaliseerd. Het risico zou wel worden besproken, maar een abstractie blijven die onvoldoende in de dagelijkse besluitvorming is geïntegreerd.

2. Bij Anthropic zouden de implicaties daarentegen goed worden begrepen. Het probleem zou dus niet onwetendheid zijn. Coxon stelt eerder dat het bedrijf verwikkeld zou zijn in een wedloop om als eerste de eindstreep te bereiken, omdat de medewerkers ervan uitgaan dat niemand anders verantwoordelijk zal handelen. Volgens die logica moet er dus ondanks het risico worden gewonnen.

Dit onderscheid is belangrijk. Het voorkomt dat zijn betoog wordt gereduceerd tot het idee dat de laboratoria simpelweg roekeloos of onwetend zouden zijn. Bij OpenAI beschrijft hij een gebrek aan internalisering. Bij Anthropic beschrijft hij een bewust aanvaarde concurrentielogica, ondanks een expliciet begrip van de risico's.

De thread stelt de AI-wedloop zo voor als een probleem van bestuur en strategie, net zozeer als van AI-veiligheid of alignment.

5. Het ‘endgame’, een gok die niet aan een privébedrijf mag worden overgelaten

In zijn vijfde post noemt Coxon het aanvaarden van deze wedloop en het betreden van het ‘endgame’ een overmoedige gok. Hij stelt dat een dergelijke beslissing niet via de Slack van een privébedrijf zou mogen worden genomen.

Deze uitspraak verlegt het debat. Coxon vraagt niet alleen om meer evaluaties, technische waarborgen of onderzoekers op het gebied van alignment. Hij betwist de legitimiteit van een private beslissing over een traject dat volgens hem mogelijk onomkeerbaar is voor de mensheid.

Hij voegt eraan toe dat een poging om alignment te versnellen, met andere woorden, om in hoog tempo het probleem op te lossen hoe geavanceerde AI duurzaam verenigbaar kan worden gemaakt met menselijke doelstellingen, een buitengewoon groot vertrouwen zou vereisen dat er geen betere trajecten bestaan.

Zijn bezwaar betreft het recht zelf van enkele private organisaties om te beslissen over een sprint naar superintelligentie.

Dit is operationeel gezien ook het minst uitgewerkte punt. Coxon meent dat er mogelijk betere trajecten bestaan, maar licht niet toe welke dat zijn, noch wie met de keuze ervan zou worden belast.

6. Coördinatie tussen Amerikaanse laboratoria, gevolgd door een mogelijk tijdelijk verbod

In zijn zesde post zegt Coxon optimistisch te zijn over het potentieel voor coördinatie. Hij meent dat waarschuwingssignalen, zoals de aanval op Hugging Face, afspraken over het ontwikkelingstempo tussen Amerikaanse laboratoria aannemelijker hebben gemaakt.

Hij verduidelijkt echter dat hij niet denkt dat de wereld momenteel op de goede weg is om een wereldwijde wedloop te voorkomen. Die preventie zou volgens hem kostbare maatregelen kunnen vereisen, zoals een tijdelijk verbod op modelcapaciteiten, in zijn tekst geformuleerd als een tijdelijk verbod om die capaciteiten te verbeteren.

De kwestie wordt dan politiek en institutioneel: wie coördineert, wie houdt toezicht, wie bestraft overtredingen, en hoe kan worden voorkomen dat een niet-meewerkende partij versnelt terwijl de anderen vertragen?

De door @TorstenProchnow gedeelde afbeelding illustreert een extreme versie van deze bezorgdheid: twee militairen staan in de sneeuw bij een geopend rond luik, waaruit een imposante rode kegel steekt onder een omhooggeklapt metalen deksel. Dit verwijst naar de vrees dat AI op een dag wapensystemen zou kunnen compromitteren.

Coxon roept op tot coördinatie tussen AI-laboratoria, maar biedt geen handhavingsmechanisme, geen lijst van deelnemers en geen concreet antwoord met betrekking tot niet-meewerkende partijen.

7. De afsluitende oproep aan onderzoekers in de laboratoria

In zijn laatste post richt Coxon zich rechtstreeks tot onderzoekers in laboratoria. Hij vraagt hun zich concreet voor te stellen hoe de komende jaren eruit zullen zien.

Willen ze een training met reinforcement learning, of RL, starten die gericht is op een superintelligentie zonder de werking van haar geest grondig te begrijpen? Moeten ze het hoofd buigen omdat ‘het toch wel gebeurt’, of dit moment aangrijpen om andere voorwaarden te eisen?

De oproep is moreel, maar ook professioneel. Hij spoort onderzoekers aan om de institutionele context niet als vanzelfsprekend te beschouwen. Hij vraagt hun om onderzoeksvoorwaarden, drempels voor implementatie en beslissingen over capaciteiten te behandelen als onderwerpen waarvoor zij verantwoordelijkheid dragen.

De thread eindigt met een oproep tot interne dissidentie, maar laat de vraag open welke middelen beschikbaar zijn voor mensen buiten de laboratoria.

De reacties: een feller debat over bewijs, China en handelingsmogelijkheden

De discussie onder de thread beperkt zich niet tot instemming of afwijzing. De krachtigste bezwaren richten zich op drie punten: de technische aannemelijkheid van het uitstervingsscenario, het geopolitieke dilemma rond China en het ontbreken van een concreet mechanisme om de wedloop te vertragen.

China als argument om elke andere optie uit te sluiten

De reactie van @timschuster vat de strategische redenering samen die meermaals terugkomt: het vertragen van Amerikaanse laboratoria zou erop neerkomen dat het voordeel aan China wordt afgestaan.

"Heb je liever dat China de AI-wedloop wint? Er is geen andere mogelijkheid dan zo snel mogelijk vooruitgang te boeken. Het is van cruciaal belang voor de nationale veiligheid." @timschuster

Voor zover uit de beschikbare informatie blijkt, heeft Coxon niet rechtstreeks op deze reactie geantwoord. In zijn zesde bericht roept hij er niet toe op om China als enige geavanceerde capaciteiten te laten ontwikkelen. Integendeel, hij spreekt over coördinatie tussen Amerikaanse laboratoria en het doel om een mondiale wedloop te voorkomen.

Maar dat is precies de ontbrekende schakel: hoe zouden afspraken tussen Amerikaanse bedrijven een mondiale wedloop kunnen voorkomen? De kwestie-China wordt aangekaart, maar blijft zonder concreet antwoord.

Het concrete mechanisme van een catastrofe blijft onduidelijk

De centrale empirische kritiek komt van lezers die niet noodzakelijk zeggen dat het risico onmogelijk is. Zij vragen om een precieze causale keten tussen algemene capaciteiten en het uitsterven van de mensheid.

"Kan iemand me uitleggen hoe AI 'ons allemaal zou kunnen doden' zonder als voorbeeld kernwapens of een of ander biologisch middel te gebruiken? Ik zeg niet eens dat ik niet geloof dat het zou kunnen; ik begrijp gewoon oprecht niet hoe AI ons letterlijk allemaal kan doden. Ik bedoel, ik begrijp de maatschappelijke en economische gevolgen tot op zekere hoogte, maar ik heb het over dit doemscenario waarvoor mensen ons voortdurend waarschuwen zonder er echt concreet over te kunnen zijn." @LiLBilly___

Coxon noemt hacken en het verwerven van middelen en reële macht. Maar zijn thread beschrijft geen opeenvolging van operationele stappen, zoals toegang tot infrastructuur, het omzeilen van tegenmaatregelen, het mobiliseren van middelen en de onmogelijkheid van een gecoördineerde menselijke reactie.

De discussie weerlegt Coxons getuigenis over de angsten die mensen privé uiten niet rechtstreeks, maar verlangt een veel preciezere onderbouwing van het aangekondigde gevaar.

De grens tussen intelligentie en fysieke macht

@philipturnerar betwist het idee dat superieure intelligentie op zichzelf volstaat om de materiële wereld ingrijpend te veranderen.

"Ik denk dat mensen de grens tussen de werkelijkheid en sciencefictionfilms steeds meer doen vervagen. Hoe gaat een theoretisch model van de werkelijkheid iets veranderen door nog theoretischer te worden? Dat een slim persoon nog slimmer wordt, verandert niets aan het feit dat fysieke zaken in de fysieke wereld middelen en tests vereisen. Geef je wachtwoorden of operationele beveiligingsinformatie niet aan een kunstmatige intelligentie. Ik schud mijn hoofd..." @philipturnerar

Dit bezwaar is rechtstreeks gericht tegen het tweede bericht. Coxon stelt dat systemen middelen en macht zullen kunnen verwerven, maar beschrijft niet welke fysieke, juridische, financiële of institutionele beperkingen deze verwerving al dan niet zouden begrenzen.

Zijn thread geeft geen rechtstreeks antwoord aan @philipturnerar. De onenigheid blijft volledig bestaan: volgens Coxon kan vooruitgang in capaciteiten worden omgezet in reële macht. Volgens zijn criticus vervangt intelligentie noch middelen, noch experimenten in de fysieke wereld.

Moet een waarschuwing falsifieerbaar zijn?

@_4lex_4 vraagt dat waarschuwingen de vorm aannemen van een toetsbare voorspelling, met consequenties als die onjuist blijkt te zijn.

"Kun je:

1. Een concrete voorspelling doen die daadwerkelijk falsifieerbaar is
2. Als je voorspelling onjuist is, zeggen dat het je spijt en uit de AI-doemdenkerswereld stappen Die doemdenkersprut is zo vermoeiend, Yudkowsky is niet slim, als Dario zijn zin had gekregen, was GPT-2 in 2019 stopgezet" @_4lex_4

Coxon noemt wel degelijk een tijdshorizon, „tegen het einde van dit decennium”, maar stelt geen enkele tussentijdse indicator voor. In de thread worden geen waarneembare capaciteitsdrempels, activeringsvoorwaarden of scenario's genoemd waarmee zijn diagnose kan worden bevestigd of weerlegd.

De waarschuwing is ernstig, maar wordt niet geformuleerd als een toetsbare hypothese.

Ontslag nemen of blijven om van binnenuit invloed uit te oefenen?

Ook de beslissing om Anthropic te verlaten wordt betwist. @FlyaKiet vraagt waarom publiekelijk vertrekken nuttiger zou zijn dan intern druk uitoefenen.

"Benieuwd waarom je denkt dat ontslag nemen zou helpen? Waarom niet blijven, pleiten voor de juiste aanpak en aandringen op echte interne verandering? Het lijkt erop dat je jezelf in een positie met minder invloed hebt gebracht, waardoor het probleem erger zal worden" @FlyaKiet

Coxon beantwoordt deze vraag niet in de aangeleverde conversatie. Zijn eerste bericht bevestigt het ontslag, maar licht de strategie achter dit vertrek niet toe. Op basis van alleen de thread is het daarom onmogelijk om te weten of hij van mening is dat de interne mogelijkheden zijn uitgeput, of zijn publieke uitlating bedoeld is om externe mobilisatie op gang te brengen, of dat hij een andere vorm van actie voorbereidt.

Wat kan het publiek doen?

@ZayraYves verlegt de discussie van de laboratoria naar mensen zonder technische expertise, groot vermogen of toegang tot de machtscentra.

"Kan iemand uitleggen wat wij mensen zonder technische kennis, miljarden of een eigen bunker met deze informatie moeten doen? Ik meen het echt. Iedereen luidt 24/7, dag en nacht, de noodklok, maar niemand lijkt een redelijke wereldwijde oplossing te hebben die overal op iedereen van toepassing is. Het zijn alleen maar tamboerijnen en clowns." @ZayraYves

Dit bezwaar legt een belangrijke beperking van de thread bloot. Coxon roept onderzoekers op om „andere voorwaarden” te eisen, maar biedt geen stappenplan voor burgers, niet-technische werknemers, volksvertegenwoordigers, toezichthouders of internationale instellingen.

Tussen de diagnose over de laboratoria en collectieve actie laat de thread een praktisch vacuüm.

De haalbaarheid van een tijdelijk verbod

In het zesde bericht wordt een ingrijpende maatregel genoemd: een tijdelijk verbod op het verbeteren van de capaciteiten van modellen. @Modernengineer richt zich rechtstreeks op de vraag hoe dit kan worden gehandhaafd.

"Serieuze vraag. Hoe kun je in hemelsnaam een tijdelijk verbod realiseren? Wie gaat hier vrijwillig mee akkoord? Ik begrijp dat je verantwoordelijk wilt handelen, maar hoe verantwoordelijk is het om kwaadwillende actoren een voorsprong te geven die misschien nooit meer kan worden ingehaald?" @Modernengineer

De door @Modernengineer gedeelde schermafbeelding toont juist een somber bericht van Jacob Coxon. De uitdrukking „a temporary ban on improving model capabilities” is er geel in gemarkeerd. De afbeelding maakt het meest controversiële punt van zijn voorstel zichtbaar: hij erkent dat de maatregel hoge kosten met zich mee kan brengen, zonder uit te leggen hoe die zou kunnen worden opgelegd.

Coxon reageert in het aangeleverde materiaal niet rechtstreeks op @Modernengineer. Hij verdedigt de mogelijkheid van coördinatie, maar specificeert noch het juridische kader, noch de verificatiemechanismen, noch de sancties, noch hoe moet worden omgegaan met laboratoria of staten die weigeren mee te werken.

Wat deze thread aantoont en wat zij onbeantwoord laat

De thread van Jacob Coxon is opmerkelijk omdat hij een diepgaandere kritiek formuleert dan het idee dat bedrijven simpelweg voorzichtiger zouden moeten zijn. Hij beschrijft een wedloop waarin actoren zich mogelijk bewust zijn van een deel van de gevaren, maar toch doorgaan omdat de prikkels van de concurrentie hun sterker lijken dan de alternatieven.

Hij poneert vooral drie stellingen:

• toekomstige modellen zouden mensen snel kunnen overtreffen in taken met concrete gevolgen;
• sleutelfiguren binnen het ecosysteem van geavanceerde AI zouden nu al in besloten kring vrezen voor een existentieel risico door AI;
• de beslissing om het „endgame” in te gaan, zou niet via de interne tools van een privébedrijf mogen worden genomen.

Maar de discussie laat ook zien wat deze waarschuwing nog niet oplost:

1. Wat is het precieze mechanisme dat tot uitsterven leidt? De thread noemt hacking, middelen en macht, zonder een volledig operationeel scenario te geven.

2. Aan de hand van welke criteria kan de voorspelling worden getoetst? „Voor het einde van het decennium” is een termijn, geen verificatieprotocol.

3. Waarom ontslag nemen in plaats van van binnenuit invloed uit te oefenen? Coxon licht niet toe welk concreet effect hij van zijn publieke vertrek verwacht.

4. Hoe kunnen AI-laboratoria zich coördineren met het oog op China en andere actoren? Coördinatie tussen Amerikaanse laboratoria is nog geen bewezen antwoord op een mondiale wedloop.

5. Wie zou een tijdelijk verbod op de capaciteiten van modellen opleggen? Het voorstel omvat noch een bevoegde autoriteit, noch toezicht, noch een sanctiemechanisme.

6. Wat moeten niet-specialisten doen? De thread spreekt onderzoekers aan, maar zet de bezorgdheid van het publiek niet om in duidelijk toegankelijke handelingsmogelijkheden.

De waarde van de discussie ligt dus minder in een pasklare oplossing dan in de tegenstrijdigheid die zij blootlegt: als de partijen die het best in staat zijn om het risico in te schatten, dit als ernstig beschouwen, moeten zij publiekelijk uitleggen waarom zij versnellen, welke waarborgen zij aanvaarden en wie de legitimiteit heeft om over het tempo te beslissen.