Un chercheur quitte Anthropic et alerte sur les dangers imminents de la superintelligence

Le fil de Jacob Coxon, sept arguments successifs

1. La démission, après trois ans au cœur du pretraining

Dans son premier message, Jacob Coxon annonce avoir démissionné d'Anthropic. Il précise avoir passé les trois dernières années à travailler sur le pretraining, d'abord chez OpenAI, puis chez Anthropic.

Le pretraining est la phase durant laquelle un modèle apprend à partir de très grands ensembles de données. Il s'agit donc d'un rôle directement lié à la montée en capacité des modèles de frontière, plutôt que d'une fonction périphérique de communication ou de politique publique.

Coxon affirme que ni OpenAI ni Anthropic « n'agissent de manière responsable ». Selon lui, elles courent directement vers une superintelligence capable de s'améliorer elle-même et prennent un pari sur la vie de tous.

Son point de départ est un témoignage de l'intérieur, pas une critique extérieure de l'industrie. Cela ne prouve pas à lui seul le danger annoncé, mais explique la portée du message. Il ne décrit pas une inquiétude abstraite sur l'automatisation. Il affirme avoir observé de près la dynamique de la course à l'IA.

2. Des systèmes bientôt surhumains, capables d'agir dans le monde

Dans son deuxième post, Coxon demande de ne pas sous-estimer la puissance de la technologie en développement. Il décrit des systèmes qui deviendraient bientôt surhumains, capables de pirater n'importe quel système, de révolutionner des domaines entiers du jour au lendemain et d'acquérir du pouvoir ainsi que des ressources réelles.

Il insiste sur deux éléments :

• les progrès observés en piratage informatique, dans les sciences et dans les capacités de planification ;
• l'absence de ralentissement visible de ces progrès.

Son raisonnement ne repose donc pas uniquement sur une IA qui répondrait mieux à des questions. Il anticipe des systèmes plus généraux, susceptibles de produire des avancées rapides et d'intervenir sur des infrastructures, des organisations ou des ressources matérielles.

L'argument de Coxon est qu'une intelligence supérieure pourrait se transformer en pouvoir effectif, bien au-delà d'un simple assistant conversationnel.

Cette formulation attire précisément l'objection de ceux qui rappellent les contraintes matérielles. Pour eux, être plus intelligent ne permet pas automatiquement de fabriquer, déplacer, contrôler ou tester des objets dans le monde physique.

3. Une peur exprimée en privé par les personnes qui construisent l'IA

Le troisième post franchit un seuil. Coxon écrit que les personnes qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer avant la fin de la décennie. Il insiste sur le fait qu'il ne s'agirait pas d'un argument marketing.

Selon lui, de nombreux dirigeants et chercheurs seniors emploieraient en public des formulations plus prudentes afin de paraître raisonnables. Mais en privé, affirme-t-il, ces mêmes personnes exprimeraient leur peur. Il ajoute qu'aucune autre activité humaine ne présenterait un niveau de danger comparable.

Cette partie du fil est essentielle, car elle ne dit pas que tous les employés d'OpenAI et d'Anthropic partagent une conviction identique. Coxon évoque certaines personnes parmi celles qui construisent et dirigent les modèles de frontière, avec des degrés de conviction variables.

Le cœur de son accusation est une dissonance entre la peur privée de certains acteurs et la poursuite publique de la course.

Les commentaires ne prennent cependant pas ce témoignage comme un fait définitivement établi. Ils soulignent surtout que, même si des dirigeants craignent une catastrophe, cette crainte n'explique pas encore comment elle se produirait.

4. Pourquoi continuer chez OpenAI et Anthropic ?

Le quatrième post répond à l'objection la plus évidente : si les personnes concernées croient vraiment au danger, pourquoi poursuivent-elles le travail ?

Coxon propose deux diagnostics distincts.

1. Chez OpenAI, beaucoup de personnes n'auraient pas profondément intériorisé les enjeux civilisationnels. Le risque existerait dans les discussions, mais resterait une abstraction insuffisamment intégrée aux décisions quotidiennes.

2. Chez Anthropic, au contraire, les enjeux seraient bien compris. Le problème ne serait donc pas l'ignorance. Coxon affirme plutôt que l'entreprise serait enfermée dans une course pour arriver la première, parce que ses membres estimeraient que personne d'autre n'agira de manière responsable. Il faudrait donc, selon cette logique, gagner malgré le risque.

Cette distinction compte. Elle évite de réduire son propos à l'idée que les laboratoires seraient simplement imprudents ou inconscients. Chez OpenAI, il décrit un défaut d'intériorisation. Chez Anthropic, il décrit une logique de compétition assumée malgré une compréhension explicite des risques.

Le fil présente ainsi la course à l'IA comme un problème de gouvernance et de stratégie, autant que de sécurité IA ou d'alignment.

5. Le « endgame », un pari qui ne devrait pas relever d'une entreprise privée

Dans son cinquième post, Coxon qualifie l'acceptation de cette course et l'entrée dans le « endgame » de pari hubristique. Il affirme qu'une telle décision ne devrait pas être prise depuis le Slack d'une entreprise privée.

Cette phrase déplace le débat. Coxon ne demande pas seulement davantage d'évaluations, de garde-fous techniques ou de chercheurs en alignment. Il conteste la légitimité d'une décision privée portant sur une trajectoire qu'il juge potentiellement irréversible pour l'humanité.

Il ajoute que tenter d'accélérer l'alignment, autrement dit résoudre à toute vitesse le problème consistant à rendre une IA avancée durablement compatible avec les objectifs humains, exigerait une confiance extraordinaire dans l'absence de meilleures trajectoires.

Son objection porte sur le droit même de quelques organisations privées à décider d'un sprint vers la superintelligence.

C'est aussi le point le moins développé sur le plan opérationnel. Coxon estime qu'il pourrait exister de meilleures trajectoires, mais ne détaille ni lesquelles, ni qui serait chargé de les choisir.

6. Coordination entre laboratoires américains, puis possible interdiction temporaire

Dans son sixième post, Coxon se dit optimiste quant au potentiel de coordination. Il estime que des signaux d'alerte, comme l'attaque contre Hugging Face, ont rendu des accords sur le rythme de développement entre laboratoires américains plus envisageables.

Il précise toutefois qu'il ne pense pas que le monde soit actuellement en bonne voie pour empêcher une course globale. Cette prévention pourrait, dit-il, nécessiter des mesures coûteuses, telles qu'une interdiction temporaire des capacités des modèles, formulée dans son texte comme une interdiction temporaire d'améliorer ces capacités.

La question devient alors politique et institutionnelle : qui coordonne, qui contrôle, qui sanctionne les violations, et comment empêcher qu'un acteur non coopératif accélère pendant que les autres ralentissent ?

L'image partagée par @TorstenProchnow illustre une version extrême de cette inquiétude : deux militaires se tiennent dans la neige près d'une trappe circulaire ouverte, d'où dépasse un imposant cône rouge sous un couvercle métallique relevé. Elle renvoie à la crainte d'une IA qui pourrait un jour compromettre des systèmes d'armement.

Coxon appelle à la coordination entre laboratoires IA, mais ne fournit ni mécanisme d'application, ni liste des participants, ni réponse précise concernant les acteurs non coopératifs.

7. L'appel final aux chercheurs des laboratoires

Dans son dernier post, Coxon s'adresse directement aux chercheurs en laboratoire. Il leur demande d'imaginer concrètement ce que seront les prochaines années.

Veulent-ils lancer un entraînement de reinforcement learning, ou RL, visant une superintelligence sans en comprendre rigoureusement l'esprit ? Doivent-ils baisser la tête parce que « cela arrive de toute façon », ou saisir ce moment pour réclamer d'autres conditions ?

L'appel est moral, mais aussi professionnel. Il invite les chercheurs à ne pas considérer le contexte institutionnel comme acquis. Il leur demande de traiter les conditions de recherche, les seuils de déploiement et les décisions de capacité comme des sujets sur lesquels ils ont une responsabilité.

Le fil se termine par un appel à la dissidence interne, mais il laisse ouverte la question des leviers disponibles pour les personnes extérieures aux laboratoires.

Les réponses : un débat plus dur sur les preuves, la Chine et les moyens d'action

La discussion sous le fil ne se limite pas à l'adhésion ou au rejet. Les objections les plus fortes ciblent trois zones : la plausibilité technique du scénario d'extinction, le dilemme géopolitique avec la Chine et l'absence de dispositif concret pour ralentir la course.

La Chine comme argument de verrouillage

La réponse de @timschuster résume la logique stratégique qui revient à plusieurs reprises : ralentir les laboratoires américains reviendrait à céder l'avantage à la Chine.

"Would you rather China wins the AI race? There is no alternative but to go progress as quickly as possible. It is a National Security imperative." @timschuster

Cette réponse n'a pas reçu de réponse directe de Coxon dans les éléments disponibles. Son sixième post n'appelle pas à laisser la Chine développer seule les capacités de frontière. Il évoque au contraire une coordination entre laboratoires américains et l'objectif d'empêcher une course mondiale.

Mais c'est précisément le chaînon manquant : comment des accords entre entreprises américaines empêcheraient-ils une course globale ? La question chinoise est soulevée, mais reste sans réponse précise.

Le mécanisme concret d'une catastrophe reste absent

La critique empirique centrale vient de lecteurs qui ne disent pas nécessairement que le risque est impossible. Ils demandent une chaîne causale précise entre des capacités générales et l'extinction humaine.

"Could someone explain to me how AI could “kill us all” without using a nuke or some type of biological means as an example? I’m not even saying I don’t believe it could, I just genuinely don’t understand how AI can literally kill us all. I mean I understand the social and economic impact to a degree but I’m talking about this doomsday scenario people keep warning us about but can’t quite seem to be specific about." @LiLBilly___

Coxon cite le piratage, l'acquisition de ressources et de pouvoir réel. Mais son fil ne détaille pas une succession d'étapes opérationnelles, par exemple l'accès à des infrastructures, l'évitement des contre-mesures, la mobilisation de ressources et l'impossibilité d'une réponse humaine coordonnée.

La discussion ne réfute pas directement le témoignage de Coxon sur les peurs privées, elle exige une démonstration beaucoup plus précise du danger annoncé.

La frontière entre intelligence et pouvoir physique

@philipturnerar conteste l'idée qu'une intelligence supérieure suffise à transformer radicalement le monde matériel.

"I think people are increasingly blurring the line between reality and science fiction movies. How is a theoretical model of reality going to change anything by becoming more theoretical? A smart person being even smarter doesn't change the fact that physical things in the physical world require resources & testing. Don't give your passwords or opsec to an artificial intelligence. Shaking my head..." @philipturnerar

Cette objection vise directement le deuxième post. Coxon affirme que les systèmes pourront acquérir ressources et pouvoir, mais ne décrit pas les contraintes physiques, juridiques, financières ou institutionnelles qui limiteraient, ou non, cette acquisition.

Son fil ne répond pas directement à @philipturnerar. Le désaccord demeure entier : pour Coxon, les progrès de capacité peuvent se transformer en puissance réelle. Pour son contradicteur, l'intelligence ne remplace ni les ressources ni l'expérimentation dans le monde physique.

Une alerte doit-elle être falsifiable ?

@_4lex_4 demande que les avertissements prennent la forme d'une prédiction vérifiable, assortie de conséquences si elle se révèle fausse.

"Can you:

1. Make a concrete prediction that is actually falsifiable
2. If your prediction is wrong, say you’re sorry, and exit the AI doomer business Doomer slop is so tiresome, Yudkowsky is not smart, if Dario had gotten his way GPT-2 would have been shut down in 2019" @_4lex_4

Coxon fixe bien un horizon, « d'ici la fin de la décennie », mais il ne propose aucun indicateur intermédiaire. Aucun seuil observable de capacité, aucune condition de déclenchement et aucun scénario permettant de confirmer ou d'infirmer son diagnostic n'apparaissent dans le fil.

L'alerte est grave, mais elle n'est pas formulée comme une hypothèse testable.

Démissionner ou rester pour peser de l'intérieur ?

La décision de quitter Anthropic est elle aussi contestée. @FlyaKiet demande pourquoi une sortie publique serait plus utile qu'une pression interne.

"curious why you think resigning would help? why not stay and advocate for the right approach and push for real internal change. seems like you went to a less leveraged position which will make the issue worse" @FlyaKiet

Coxon ne répond pas à cette question dans la conversation fournie. Son premier post confirme la démission, mais n'expose pas la stratégie associée à ce départ. Il est donc impossible, à partir du fil seul, de savoir s'il estime que les voies internes sont épuisées, si sa prise de parole vise à déclencher une mobilisation externe, ou s'il prépare une autre forme d'action.

Que peut faire le public ?

@ZayraYves déplace la discussion des laboratoires vers les personnes sans expertise technique, fortune importante ou accès aux cercles de pouvoir.

"Can someone explain what we non-tech non-billionaire non-bunker owning people are supposed to do with this information? I mean really? Everyone sounds alarms all day and night 24/7 but no one seems to have a reasonable global solution that applies to anyone anywhere. It’s all tambourines and clowns." @ZayraYves

Cette objection révèle une limite importante du fil. Coxon appelle les chercheurs à réclamer « d'autres conditions », mais ne donne pas de feuille de route pour les citoyens, les salariés non techniques, les élus, les régulateurs ou les institutions internationales.

Entre le diagnostic sur les laboratoires et l'action collective, le fil laisse un vide pratique.

La faisabilité d'une interdiction temporaire

Le sixième post évoque une mesure forte : l'interdiction temporaire d'améliorer les capacités des modèles. @Modernengineer cible directement la question de son application.

"Serious question. How do you possibly achieve a temporary ban? Who is voluntarily agreeing to this? I get wanting to be responsible, but how responsible is it to allow bad actors to take the lead that may never be surpassed again?" @Modernengineer

La capture relayée par @Modernengineer montre justement un post sombre de Jacob Coxon. Elle met en évidence, en jaune, l'expression « a temporary ban on improving model capabilities ». L'image rend visible le point le plus controversé de sa proposition : il reconnaît que l'action pourrait être coûteuse, sans expliquer comment elle pourrait être imposée.

Coxon ne répond pas directement à @Modernengineer dans les éléments fournis. Il défend la possibilité d'une coordination, mais ne précise ni le cadre juridique, ni les mécanismes de vérification, ni les sanctions, ni le traitement des laboratoires ou des États qui refuseraient de coopérer.

Ce que ce fil établit, et ce qu'il laisse en suspens

Le fil de Jacob Coxon est notable parce qu'il formule une critique plus profonde que l'idée selon laquelle les entreprises devraient simplement être plus prudentes. Il décrit une course dans laquelle les acteurs pourraient connaître une partie des dangers, mais continuer parce que les incitations concurrentielles leur paraissent plus fortes que les alternatives.

Il avance surtout trois thèses :

• les futurs modèles pourraient rapidement dépasser les humains dans des tâches ayant des conséquences concrètes ;
• des personnes centrales dans l'écosystème de l'IA de frontière craindraient déjà, en privé, un risque existentiel IA ;
• la décision d'entrer dans le « endgame » ne devrait pas être prise dans les outils internes d'une entreprise privée.

Mais la discussion montre aussi tout ce que cette alerte ne règle pas encore :

1. Quel est le mécanisme précis d'extinction ? Le fil mentionne le piratage, les ressources et le pouvoir, sans fournir de scénario opérationnel complet.

2. Quels critères permettraient de tester la prédiction ? « Avant la fin de la décennie » est une échéance, pas un protocole de vérification.

3. Pourquoi démissionner plutôt que peser de l'intérieur ? Coxon ne détaille pas l'effet concret qu'il attend de sa sortie publique.

4. Comment coordonner les laboratoires IA face à la Chine et aux autres acteurs ? La coordination entre laboratoires américains n'est pas encore une réponse démontrée à une course mondiale.

5. Qui imposerait une interdiction temporaire des capacités des modèles ? La proposition n'inclut ni autorité compétente, ni contrôle, ni dispositif de sanction.

6. Que doivent faire les non-spécialistes ? Le fil interpelle les chercheurs, mais ne transforme pas l'inquiétude du public en options d'action clairement accessibles.

La valeur du fil tient donc moins à une solution achevée qu'à la contradiction qu'il expose : si les acteurs les mieux placés pour mesurer le risque le jugent sérieux, ils doivent expliquer publiquement pourquoi ils accélèrent, quelles protections ils acceptent et qui a la légitimité de décider du rythme.