Un ricercatore lascia Anthropic e lancia l’allarme sui pericoli imminenti della superintelligenza

Il thread di Jacob Coxon, sette argomenti successivi

1. Le dimissioni, dopo tre anni nel cuore del pretraining

Nel suo primo messaggio, Jacob Coxon annuncia di essersi dimesso da Anthropic. Precisa di aver trascorso gli ultimi tre anni lavorando sul pretraining, prima presso OpenAI, poi presso Anthropic.

Il pretraining è la fase durante la quale un modello apprende a partire da insiemi di dati molto grandi. Si tratta quindi di un ruolo direttamente legato all'aumento delle capacità dei modelli di frontiera, anziché di una funzione periferica nella comunicazione o nelle politiche pubbliche.

Coxon afferma che né OpenAI né Anthropic «agiscono in modo responsabile». Secondo lui, stanno correndo direttamente verso una superintelligenza capace di migliorarsi autonomamente e stanno scommettendo sulla vita di tutti.

Il suo punto di partenza è una testimonianza dall'interno, non una critica esterna al settore. Questo, da solo, non dimostra il pericolo annunciato, ma spiega la portata del messaggio. Non descrive una preoccupazione astratta riguardo all'automazione. Afferma di aver osservato da vicino le dinamiche della corsa all'IA.

2. Sistemi presto sovrumani, capaci di agire nel mondo

Nel suo secondo post, Coxon invita a non sottovalutare la potenza della tecnologia in fase di sviluppo. Descrive sistemi che diventerebbero presto sovrumani, capaci di violare qualsiasi sistema informatico, rivoluzionare interi settori dall'oggi al domani e acquisire potere e risorse reali.

Insiste su due elementi:

• i progressi osservati nell'hacking informatico, nelle scienze e nelle capacità di pianificazione;
• l'assenza di un rallentamento visibile di tali progressi.

Il suo ragionamento, quindi, non si basa unicamente su un'IA in grado di rispondere meglio alle domande. Prevede sistemi più generali, capaci di produrre rapidi progressi e di intervenire su infrastrutture, organizzazioni o risorse materiali.

L'argomento di Coxon è che un'intelligenza superiore potrebbe trasformarsi in potere effettivo, ben oltre un semplice assistente conversazionale.

Questa formulazione suscita proprio l'obiezione di coloro che ricordano i vincoli materiali. Secondo loro, essere più intelligenti non permette automaticamente di fabbricare, spostare, controllare o testare oggetti nel mondo fisico.

3. Una paura espressa in privato dalle persone che costruiscono l'IA

Il terzo post supera una soglia. Coxon scrive che le persone che costruiscono l'IA credono sinceramente che potrebbe ucciderci tutti prima della fine del decennio. Sottolinea che non si tratterebbe di un argomento di marketing.

Secondo lui, molti dirigenti e ricercatori senior userebbero in pubblico formulazioni più prudenti per apparire ragionevoli. Ma in privato, afferma, queste stesse persone esprimerebbero la propria paura. Aggiunge che nessun'altra attività umana presenterebbe un livello di pericolo paragonabile.

Questa parte del thread è essenziale, perché non afferma che tutti i dipendenti di OpenAI e Anthropic condividano la stessa convinzione. Coxon fa riferimento ad alcune delle persone che costruiscono e dirigono i modelli di frontiera, con diversi gradi di convinzione.

Il fulcro della sua accusa è la dissonanza tra la paura privata di alcuni attori e il proseguimento pubblico della corsa.

I commenti, tuttavia, non considerano questa testimonianza come un fatto definitivamente accertato. Sottolineano soprattutto che, anche se alcuni dirigenti temono una catastrofe, questo timore non spiega ancora come essa si verificherebbe.

4. Perché continuare in OpenAI e Anthropic?

Il quarto post risponde all'obiezione più evidente: se le persone coinvolte credono davvero nel pericolo, perché continuano a lavorare?

Coxon propone due diagnosi distinte.

1. In OpenAI, molte persone non avrebbero interiorizzato profondamente le implicazioni per la civiltà. Il rischio sarebbe presente nelle discussioni, ma rimarrebbe un'astrazione non sufficientemente integrata nelle decisioni quotidiane.

2. In Anthropic, al contrario, tali implicazioni sarebbero ben comprese. Il problema non sarebbe quindi l'ignoranza. Coxon sostiene piuttosto che l'azienda sarebbe intrappolata in una corsa per arrivare prima, perché i suoi membri riterrebbero che nessun altro agirà in modo responsabile. Secondo questa logica, bisognerebbe quindi vincere nonostante il rischio.

Questa distinzione è importante. Evita di ridurre il suo ragionamento all'idea che i laboratori siano semplicemente imprudenti o inconsapevoli. In OpenAI descrive una mancata interiorizzazione. In Anthropic descrive una logica di competizione accettata consapevolmente, nonostante un'esplicita comprensione dei rischi.

Il thread presenta quindi la corsa all'IA come un problema di governance e strategia, oltre che di sicurezza dell'IA o di alignment.

5. L'« endgame », una scommessa che non dovrebbe spettare a un'azienda privata

Nel suo quinto post, Coxon definisce l'accettazione di questa corsa e l'ingresso nell'« endgame » una scommessa dettata dalla tracotanza. Afferma che una simile decisione non dovrebbe essere presa dallo Slack di un'azienda privata.

Questa frase sposta i termini del dibattito. Coxon non chiede soltanto più valutazioni, salvaguardie tecniche o ricercatori di alignment. Contesta la legittimità di una decisione privata relativa a una traiettoria che considera potenzialmente irreversibile per l'umanità.

Aggiunge che tentare di accelerare l'alignment, ovvero risolvere a tutta velocità il problema di rendere un'IA avanzata stabilmente compatibile con gli obiettivi umani, richiederebbe una fiducia straordinaria nell'assenza di traiettorie migliori.

La sua obiezione riguarda il diritto stesso di poche organizzazioni private di decidere uno sprint verso la superintelligenza.

È anche il punto meno sviluppato sul piano operativo. Coxon ritiene che potrebbero esistere traiettorie migliori, ma non specifica né quali siano, né chi dovrebbe essere incaricato di sceglierle.

6. Coordinamento tra i laboratori statunitensi, poi possibile divieto temporaneo

Nel suo sesto post, Coxon si dichiara ottimista riguardo alle potenzialità del coordinamento. Ritiene che alcuni segnali d'allarme, come l'attacco contro Hugging Face, abbiano reso più plausibili accordi sul ritmo di sviluppo tra i laboratori statunitensi.

Precisa tuttavia di non ritenere che il mondo sia attualmente sulla buona strada per impedire una corsa globale. Questa prevenzione potrebbe, afferma, richiedere misure onerose, come un divieto temporaneo delle capacità dei modelli, formulato nel suo testo come un divieto temporaneo di migliorare tali capacità.

La questione diventa quindi politica e istituzionale: chi coordina, chi controlla, chi sanziona le violazioni e come impedire che un attore non cooperativo acceleri mentre gli altri rallentano?

L'immagine condivisa da @TorstenProchnow illustra una versione estrema di questa preoccupazione: due militari si trovano nella neve accanto a una botola circolare aperta, dalla quale sporge un imponente cono rosso sotto un coperchio metallico sollevato. Rimanda al timore che un'IA possa un giorno compromettere i sistemi d'armamento.

Coxon chiede un coordinamento tra i laboratori di IA, ma non fornisce né un meccanismo di applicazione, né un elenco dei partecipanti, né una risposta precisa riguardo agli attori non cooperativi.

7. L'appello finale ai ricercatori dei laboratori

Nel suo ultimo post, Coxon si rivolge direttamente ai ricercatori che lavorano nei laboratori. Chiede loro di immaginare concretamente come saranno i prossimi anni.

Vogliono avviare un addestramento di reinforcement learning, o RL, volto a creare una superintelligenza senza comprenderne rigorosamente la mente? Devono abbassare la testa perché « tanto accadrà comunque », oppure cogliere questo momento per chiedere condizioni diverse?

L'appello è morale, ma anche professionale. Invita i ricercatori a non dare per scontato il contesto istituzionale. Chiede loro di considerare le condizioni della ricerca, le soglie di implementazione e le decisioni in materia di capacità come questioni di cui sono responsabili.

Il thread si conclude con un appello alla dissidenza interna, ma lascia aperta la questione delle leve a disposizione di chi è esterno ai laboratori.

Le risposte: un dibattito più duro sulle prove, sulla Cina e sui mezzi d'azione

La discussione sotto il thread non si limita all'adesione o al rifiuto. Le obiezioni più forti riguardano tre aree: la plausibilità tecnica dello scenario di estinzione, il dilemma geopolitico con la Cina e l'assenza di un meccanismo concreto per rallentare la corsa.

La Cina come argomento per bloccare ogni alternativa

La risposta di @timschuster riassume la logica strategica che ricorre più volte: rallentare i laboratori americani equivarrebbe a cedere il vantaggio alla Cina.

"Preferiresti che fosse la Cina a vincere la corsa all'IA? Non c'è alternativa: bisogna progredire il più rapidamente possibile. È un imperativo di sicurezza nazionale." @timschuster

Questa risposta non ha ricevuto una replica diretta da parte di Coxon negli elementi disponibili. Il suo sesto post non propone di lasciare che sia la Cina a sviluppare da sola le capacità di frontiera. Al contrario, evoca un coordinamento tra i laboratori americani e l'obiettivo di impedire una corsa globale.

Ma è proprio questo l'anello mancante: in che modo degli accordi tra aziende americane impedirebbero una corsa globale? La questione cinese viene sollevata, ma resta senza una risposta precisa.

Manca ancora il meccanismo concreto di una catastrofe

La principale critica empirica viene da lettori che non sostengono necessariamente che il rischio sia impossibile. Chiedono una catena causale precisa tra capacità generali ed estinzione umana.

"Qualcuno potrebbe spiegarmi come potrebbe l'IA «ucciderci tutti» senza usare come esempio un'arma nucleare o qualche tipo di mezzo biologico? Non sto nemmeno dicendo che non credo che possa accadere, semplicemente non capisco davvero come l'IA possa letteralmente ucciderci tutti. Voglio dire, comprendo fino a un certo punto l'impatto sociale ed economico, ma sto parlando di questo scenario apocalittico su cui le persone continuano a metterci in guardia senza però riuscire a essere precise." @LiLBilly___

Coxon cita la pirateria informatica, l'acquisizione di risorse e di potere reale. Ma il suo thread non descrive nel dettaglio una successione di passaggi operativi, come l'accesso alle infrastrutture, l'elusione delle contromisure, la mobilitazione delle risorse e l'impossibilità di una risposta umana coordinata.

La discussione non confuta direttamente la testimonianza di Coxon sui timori espressi in privato, ma esige una dimostrazione molto più precisa del pericolo annunciato.

Il confine tra intelligenza e potere fisico

@philipturnerar contesta l'idea che un'intelligenza superiore sia sufficiente a trasformare radicalmente il mondo materiale.

"Credo che le persone confondano sempre più il confine tra la realtà e i film di fantascienza. In che modo un modello teorico della realtà cambierebbe qualcosa diventando ancora più teorico? Il fatto che una persona intelligente diventi ancora più intelligente non cambia il fatto che le cose fisiche nel mondo fisico richiedano risorse e sperimentazione. Non fornite le vostre password o informazioni di sicurezza operativa a un'intelligenza artificiale. Scuoto la testa..." @philipturnerar

Questa obiezione prende di mira direttamente il secondo post. Coxon afferma che i sistemi potranno acquisire risorse e potere, ma non descrive i vincoli fisici, giuridici, finanziari o istituzionali che limiterebbero, o meno, tale acquisizione.

Il suo thread non risponde direttamente a @philipturnerar. Il disaccordo rimane totale: per Coxon, i progressi nelle capacità possono trasformarsi in potere reale. Per il suo contraddittore, l'intelligenza non sostituisce né le risorse né la sperimentazione nel mondo fisico.

Un allarme deve essere falsificabile?

@_4lex_4 chiede che gli avvertimenti assumano la forma di una previsione verificabile, con conseguenze nel caso in cui si riveli falsa.

"Puoi:

1. Fare una previsione concreta che sia effettivamente falsificabile
2. Se la tua previsione è sbagliata, chiedere scusa e abbandonare il settore del catastrofismo sull'IA Questa sbobba catastrofista è davvero estenuante, Yudkowsky non è intelligente, se Dario avesse ottenuto ciò che voleva, GPT-2 sarebbe stato bloccato nel 2019" @_4lex_4

Coxon fissa effettivamente un orizzonte, «entro la fine del decennio», ma non propone alcun indicatore intermedio. Nel thread non compaiono soglie osservabili di capacità, condizioni di attivazione o scenari che permettano di confermare o smentire la sua diagnosi.

L'allarme è grave, ma non è formulato come un'ipotesi verificabile.

Dimettersi o restare per esercitare un'influenza dall'interno?

Anche la decisione di lasciare Anthropic è oggetto di contestazione. @FlyaKiet chiede perché un'uscita pubblica sarebbe più utile di una pressione interna.

"curious why you think resigning would help? why not stay and advocate for the right approach and push for real internal change. seems like you went to a less leveraged position which will make the issue worse" @FlyaKiet

Coxon non risponde a questa domanda nella conversazione fornita. Il suo primo post conferma le dimissioni, ma non illustra la strategia legata a questa scelta. È quindi impossibile, basandosi soltanto sul thread, sapere se ritenga esaurite le vie interne, se il suo intervento pubblico miri a innescare una mobilitazione esterna o se stia preparando un'altra forma di azione.

Che cosa può fare il pubblico?

@ZayraYves sposta la discussione dai laboratori alle persone prive di competenze tecniche, di grandi patrimoni o di accesso ai circoli del potere.

"Can someone explain what we non-tech non-billionaire non-bunker owning people are supposed to do with this information? I mean really? Everyone sounds alarms all day and night 24/7 but no one seems to have a reasonable global solution that applies to anyone anywhere. It’s all tambourines and clowns." @ZayraYves

Questa obiezione rivela un limite importante del thread. Coxon invita i ricercatori a chiedere «condizioni diverse», ma non fornisce una tabella di marcia per i cittadini, i dipendenti non tecnici, gli eletti, le autorità di regolamentazione o le istituzioni internazionali.

Tra la diagnosi sui laboratori e l'azione collettiva, il thread lascia un vuoto pratico.

La fattibilità di un divieto temporaneo

Il sesto post evoca una misura drastica: il divieto temporaneo di migliorare le capacità dei modelli. @Modernengineer affronta direttamente la questione della sua attuazione.

"Serious question. How do you possibly achieve a temporary ban? Who is voluntarily agreeing to this? I get wanting to be responsible, but how responsible is it to allow bad actors to take the lead that may never be surpassed again?" @Modernengineer

Lo screenshot condiviso da @Modernengineer mostra proprio un post di Jacob Coxon in modalità scura. Mette in evidenza, in giallo, l'espressione «a temporary ban on improving model capabilities». L'immagine rende visibile il punto più controverso della sua proposta: riconosce che l'azione potrebbe essere costosa, senza spiegare come potrebbe essere imposta.

Coxon non risponde direttamente a @Modernengineer negli elementi forniti. Difende la possibilità di un coordinamento, ma non specifica né il quadro giuridico, né i meccanismi di verifica, né le sanzioni, né il trattamento riservato ai laboratori o agli Stati che rifiutassero di cooperare.

Ciò che questo thread dimostra e ciò che lascia in sospeso

Il thread di Jacob Coxon è degno di nota perché formula una critica più profonda dell'idea secondo cui le aziende dovrebbero semplicemente essere più prudenti. Descrive una corsa in cui gli attori potrebbero conoscere parte dei pericoli, ma continuare perché gli incentivi competitivi sembrano loro più forti delle alternative.

Sostiene soprattutto tre tesi:

• i modelli futuri potrebbero rapidamente superare gli esseri umani in compiti con conseguenze concrete;
• figure centrali nell'ecosistema dell'IA di frontiera temerebbero già, in privato, un rischio esistenziale legato all'IA;
• la decisione di entrare nell'«endgame» non dovrebbe essere presa tramite gli strumenti interni di un'azienda privata.

Ma la discussione mostra anche tutto ciò che questo allarme non risolve ancora:

1. Qual è il meccanismo preciso dell'estinzione? Il thread menziona la pirateria informatica, le risorse e il potere, senza fornire uno scenario operativo completo.

2. Quali criteri consentirebbero di verificare la previsione? «Prima della fine del decennio» è una scadenza, non un protocollo di verifica.

3. Perché dimettersi anziché esercitare influenza dall'interno? Coxon non descrive nel dettaglio l'effetto concreto che si aspetta dalla sua uscita pubblica.

4. Come coordinare i laboratori di IA di fronte alla Cina e agli altri attori? Il coordinamento tra i laboratori statunitensi non è ancora una risposta comprovata a una corsa globale.

5. Chi imporrebbe un divieto temporaneo delle capacità dei modelli? La proposta non include né un'autorità competente, né controlli, né un sistema sanzionatorio.

6. Che cosa dovrebbero fare i non specialisti? Il thread si rivolge ai ricercatori, ma non traduce la preoccupazione del pubblico in opzioni d'azione chiaramente accessibili.

Il valore del thread risiede quindi meno in una soluzione definitiva che nella contraddizione che mette in luce: se gli attori nella posizione migliore per valutare il rischio lo ritengono serio, devono spiegare pubblicamente perché stanno accelerando, quali misure di protezione sono disposti ad accettare e chi ha la legittimità di decidere il ritmo.