Un investigador deja Anthropic y alerta sobre los peligros inminentes de la superinteligencia

El hilo de Jacob Coxon: siete argumentos sucesivos

1. La dimisión, tras tres años en el núcleo del preentrenamiento

En su primer mensaje, Jacob Coxon anuncia que ha dimitido de Anthropic. Precisa que pasó los últimos tres años trabajando en el preentrenamiento, primero en OpenAI y después en Anthropic.

El preentrenamiento es la fase durante la cual un modelo aprende a partir de conjuntos de datos muy grandes. Se trata, por tanto, de un puesto directamente relacionado con el aumento de las capacidades de los modelos de frontera, en lugar de una función periférica de comunicación o políticas públicas.

Coxon afirma que ni OpenAI ni Anthropic «actúan de manera responsable». Según él, compiten directamente por alcanzar una superinteligencia capaz de mejorarse a sí misma y están apostando con la vida de todos.

Su punto de partida es un testimonio desde dentro, no una crítica externa a la industria. Esto no demuestra por sí solo el peligro anunciado, pero explica el alcance del mensaje. No describe una preocupación abstracta sobre la automatización. Afirma haber observado de cerca la dinámica de la carrera de la IA.

2. Sistemas pronto sobrehumanos, capaces de actuar en el mundo

En su segunda publicación, Coxon pide que no se subestime la potencia de la tecnología en desarrollo. Describe sistemas que pronto se volverían sobrehumanos, capaces de hackear cualquier sistema, revolucionar ámbitos enteros de la noche a la mañana y adquirir poder y recursos reales.

Insiste en dos elementos:

• los avances observados en el hackeo informático, las ciencias y las capacidades de planificación;
• la ausencia de una ralentización visible de estos avances.

Por tanto, su razonamiento no se basa únicamente en una IA que respondería mejor a las preguntas. Anticipa sistemas más generales, capaces de producir avances rápidos e intervenir en infraestructuras, organizaciones o recursos materiales.

El argumento de Coxon es que una inteligencia superior podría transformarse en poder efectivo, mucho más allá de un simple asistente conversacional.

Esta formulación suscita precisamente la objeción de quienes recuerdan las limitaciones materiales. Para ellos, ser más inteligente no permite automáticamente fabricar, desplazar, controlar o probar objetos en el mundo físico.

3. Un temor expresado en privado por las personas que construyen la IA

La tercera publicación cruza un umbral. Coxon escribe que las personas que construyen la IA creen sinceramente que podría matarnos a todos antes del final de la década. Insiste en que no se trataría de un argumento de marketing.

Según él, muchos directivos e investigadores sénior utilizarían en público formulaciones más prudentes para parecer razonables. Pero, en privado, afirma, esas mismas personas expresarían su temor. Añade que ninguna otra actividad humana presentaría un nivel de peligro comparable.

Esta parte del hilo es esencial, porque no afirma que todos los empleados de OpenAI y Anthropic compartan una convicción idéntica. Coxon se refiere a algunas de las personas que construyen y dirigen los modelos de frontera, con distintos grados de convicción.

El núcleo de su acusación es una disonancia entre el temor privado de algunos actores y la continuación pública de la carrera.

Sin embargo, los comentarios no dan este testimonio por definitivamente probado. Subrayan sobre todo que, aunque algunos dirigentes teman una catástrofe, ese temor todavía no explica cómo se produciría.

4. ¿Por qué seguir en OpenAI y Anthropic?

El cuarto post responde a la objeción más evidente: si las personas implicadas creen realmente en el peligro, ¿por qué continúan con el trabajo?

Coxon propone dos diagnósticos distintos.

1. En OpenAI, muchas personas no habrían interiorizado profundamente las implicaciones para la civilización. El riesgo estaría presente en las conversaciones, pero seguiría siendo una abstracción insuficientemente integrada en las decisiones cotidianas.

2. En Anthropic, por el contrario, las implicaciones se comprenderían bien. Por tanto, el problema no sería la ignorancia. Coxon afirma más bien que la empresa estaría atrapada en una carrera por llegar la primera, porque sus miembros considerarían que nadie más actuará de manera responsable. Por tanto, según esta lógica, habría que ganar a pesar del riesgo.

Esta distinción es importante. Evita reducir su argumento a la idea de que los laboratorios serían simplemente imprudentes o inconscientes. En OpenAI, describe una falta de interiorización. En Anthropic, describe una lógica de competencia asumida pese a una comprensión explícita de los riesgos.

El hilo presenta así la carrera de la IA como un problema de gobernanza y estrategia, tanto como de seguridad de la IA o de alignment.

5. El «endgame», una apuesta que no debería quedar en manos de una empresa privada

En su quinto post, Coxon califica de apuesta hubrística la aceptación de esta carrera y la entrada en el «endgame». Afirma que una decisión de este tipo no debería tomarse desde el Slack de una empresa privada.

Esta frase desplaza el debate. Coxon no solo pide más evaluaciones, salvaguardas técnicas o investigadores de alignment. Cuestiona la legitimidad de una decisión privada sobre una trayectoria que considera potencialmente irreversible para la humanidad.

Añade que intentar acelerar el alignment, es decir, resolver a toda velocidad el problema de hacer que una IA avanzada sea compatible de forma duradera con los objetivos humanos, exigiría una confianza extraordinaria en que no existen trayectorias mejores.

Su objeción se refiere al derecho mismo de unas pocas organizaciones privadas a decidir una carrera hacia la superinteligencia.

Este es también el punto menos desarrollado desde el punto de vista operativo. Coxon considera que podrían existir trayectorias mejores, pero no detalla cuáles serían ni quién se encargaría de elegirlas.

6. Coordinación entre laboratorios estadounidenses y, después, una posible prohibición temporal

En su sexto post, Coxon se muestra optimista sobre el potencial de coordinación. Considera que señales de alerta como el ataque contra Hugging Face han hecho más factibles los acuerdos sobre el ritmo de desarrollo entre laboratorios estadounidenses.

No obstante, precisa que no cree que el mundo vaya actualmente por buen camino para impedir una carrera global. Según afirma, esta prevención podría requerir medidas costosas, como una prohibición temporal de las capacidades de los modelos, formulada en su texto como una prohibición temporal de mejorar dichas capacidades.

La cuestión pasa entonces a ser política e institucional: quién coordina, quién controla, quién sanciona las infracciones y cómo impedir que un actor no cooperativo acelere mientras los demás reducen el ritmo.

La imagen compartida por @TorstenProchnow ilustra una versión extrema de esta preocupación: dos militares están de pie en la nieve junto a una escotilla circular abierta, de la que sobresale un enorme cono rojo bajo una tapa metálica levantada. Remite al temor de que algún día una IA pueda comprometer sistemas de armamento.

Coxon pide coordinación entre los laboratorios de IA, pero no proporciona ningún mecanismo de aplicación, ninguna lista de participantes ni una respuesta precisa respecto a los actores no cooperativos.

7. El llamamiento final a los investigadores de los laboratorios

En su último post, Coxon se dirige directamente a los investigadores de laboratorio. Les pide que imaginen de forma concreta cómo serán los próximos años.

¿Quieren lanzar un entrenamiento de reinforcement learning, o RL, destinado a crear una superinteligencia sin comprender rigurosamente su mente? ¿Deben agachar la cabeza porque «va a ocurrir de todos modos» o aprovechar este momento para exigir otras condiciones?

El llamamiento es moral, pero también profesional. Invita a los investigadores a no dar por sentado el contexto institucional. Les pide que consideren las condiciones de investigación, los umbrales de despliegue y las decisiones sobre capacidades como asuntos sobre los que tienen una responsabilidad.

El hilo termina con un llamamiento a la disidencia interna, pero deja abierta la cuestión de los mecanismos disponibles para las personas ajenas a los laboratorios.

Las respuestas: un debate más duro sobre las pruebas, China y los medios de acción

La discusión bajo el hilo no se limita a la adhesión o al rechazo. Las objeciones más contundentes se centran en tres áreas: la plausibilidad técnica del escenario de extinción, el dilema geopolítico con China y la ausencia de un mecanismo concreto para frenar la carrera.

China como argumento de bloqueo

La respuesta de @timschuster resume la lógica estratégica que se repite en varias ocasiones: frenar a los laboratorios estadounidenses equivaldría a ceder la ventaja a China.

"¿Preferirías que China ganara la carrera de la IA? No hay más alternativa que avanzar lo más rápido posible. Es un imperativo de seguridad nacional." @timschuster

Esta respuesta no recibió una contestación directa de Coxon en los elementos disponibles. Su sexta publicación no propone dejar que China desarrolle por sí sola las capacidades de frontera. Por el contrario, menciona una coordinación entre laboratorios estadounidenses y el objetivo de impedir una carrera mundial.

Pero ese es precisamente el eslabón perdido: ¿cómo impedirían unos acuerdos entre empresas estadounidenses una carrera global? La cuestión china se plantea, pero queda sin una respuesta concreta.

Sigue sin aparecer el mecanismo concreto de una catástrofe

La principal crítica empírica procede de lectores que no afirman necesariamente que el riesgo sea imposible. Piden una cadena causal precisa entre unas capacidades generales y la extinción humana.

"¿Podría alguien explicarme cómo la IA podría «matarnos a todos» sin poner como ejemplo el uso de un arma nuclear o algún tipo de medio biológico? Ni siquiera estoy diciendo que no crea que sea posible; de verdad no entiendo cómo la IA puede literalmente matarnos a todos. Quiero decir, entiendo hasta cierto punto el impacto social y económico, pero estoy hablando de ese escenario apocalíptico sobre el que la gente no para de advertirnos, aunque nunca parece ser capaz de concretarlo del todo." @LiLBilly___

Coxon menciona la piratería, la adquisición de recursos y de poder real. Pero su hilo no detalla una sucesión de pasos operativos, como el acceso a infraestructuras, la elusión de contramedidas, la movilización de recursos y la imposibilidad de una respuesta humana coordinada.

La discusión no refuta directamente el testimonio de Coxon sobre los temores expresados en privado; exige una demostración mucho más precisa del peligro anunciado.

La frontera entre inteligencia y poder físico

@philipturnerar cuestiona la idea de que una inteligencia superior baste para transformar radicalmente el mundo material.

"Creo que la gente confunde cada vez más la realidad con las películas de ciencia ficción. ¿Cómo va a cambiar algo un modelo teórico de la realidad por volverse más teórico? Que una persona inteligente sea aún más inteligente no cambia el hecho de que las cosas físicas del mundo físico requieren recursos y pruebas. No le des tus contraseñas ni información de seguridad operativa a una inteligencia artificial. Increíble..." @philipturnerar

Esta objeción apunta directamente a la segunda publicación. Coxon afirma que los sistemas podrán adquirir recursos y poder, pero no describe las restricciones físicas, jurídicas, financieras o institucionales que limitarían, o no, esa adquisición.

Su hilo no responde directamente a @philipturnerar. El desacuerdo se mantiene intacto: para Coxon, los avances en capacidades pueden transformarse en poder real. Para su oponente, la inteligencia no sustituye ni a los recursos ni a la experimentación en el mundo físico.

¿Una alerta debe ser falsable?

@_4lex_4 pide que las advertencias adopten la forma de una predicción verificable y que haya consecuencias si resulta ser falsa.

"¿Puedes:

1. Hacer una predicción concreta que sea realmente falsable
2. Si tu predicción es errónea, disculparte y abandonar el negocio del catastrofismo sobre la IA? La bazofia catastrofista es agotadora, Yudkowsky no es inteligente y, si Dario se hubiera salido con la suya, GPT-2 habría sido clausurado en 2019" @_4lex_4

Coxon sí fija un horizonte, «de aquí a finales de la década», pero no propone ningún indicador intermedio. En el hilo no aparece ningún umbral observable de capacidad, ninguna condición de activación ni ningún escenario que permita confirmar o refutar su diagnóstico.

La alerta es grave, pero no está formulada como una hipótesis comprobable.

¿Dimitir o quedarse para influir desde dentro?

La decisión de abandonar Anthropic también es objeto de controversia. @FlyaKiet pregunta por qué una salida pública sería más útil que ejercer presión interna.

"¿Por qué crees que dimitir ayudaría? ¿Por qué no quedarse y defender el enfoque adecuado e impulsar un verdadero cambio interno? Parece que has pasado a una posición con menos influencia, lo que empeorará el problema" @FlyaKiet

Coxon no responde a esta pregunta en la conversación proporcionada. Su primera publicación confirma la dimisión, pero no expone la estrategia asociada a esta salida. Por lo tanto, basándose únicamente en el hilo, es imposible saber si considera que las vías internas están agotadas, si su pronunciamiento pretende desencadenar una movilización externa o si está preparando otra forma de acción.

¿Qué puede hacer el público?

@ZayraYves desplaza el debate desde los laboratorios hacia las personas sin conocimientos técnicos, grandes fortunas ni acceso a los círculos de poder.

"¿Alguien puede explicar qué se supone que debemos hacer con esta información quienes no somos expertos en tecnología, ni multimillonarios, ni propietarios de un búnker? Lo digo en serio. Todo el mundo da la voz de alarma a todas horas, día y noche, las 24 horas del día, los 7 días de la semana, pero nadie parece tener una solución global razonable que pueda aplicarse a cualquier persona en cualquier lugar. Todo son panderetas y payasos." @ZayraYves

Esta objeción revela una importante limitación del hilo. Coxon pide a los investigadores que reclamen «otras condiciones», pero no ofrece una hoja de ruta para los ciudadanos, los empleados no técnicos, los cargos electos, los reguladores o las instituciones internacionales.

Entre el diagnóstico sobre los laboratorios y la acción colectiva, el hilo deja un vacío práctico.

La viabilidad de una prohibición temporal

La sexta publicación menciona una medida contundente: la prohibición temporal de mejorar las capacidades de los modelos. @Modernengineer se centra directamente en la cuestión de su aplicación.

"Pregunta seria. ¿Cómo se puede lograr una prohibición temporal? ¿Quién aceptaría esto voluntariamente? Entiendo que se quiera actuar de manera responsable, pero ¿qué tan responsable es permitir que actores malintencionados tomen una delantera que quizá nunca vuelva a superarse?" @Modernengineer

La captura compartida por @Modernengineer muestra precisamente una publicación de Jacob Coxon en modo oscuro. Resalta en amarillo la expresión «una prohibición temporal de mejorar las capacidades de los modelos». La imagen hace visible el aspecto más controvertido de su propuesta: reconoce que la acción podría ser costosa, sin explicar cómo podría imponerse.

Coxon no responde directamente a @Modernengineer en los elementos proporcionados. Defiende la posibilidad de una coordinación, pero no especifica el marco jurídico, los mecanismos de verificación, las sanciones ni el tratamiento de los laboratorios o Estados que se negaran a cooperar.

Lo que establece este hilo y lo que deja pendiente

El hilo de Jacob Coxon es notable porque formula una crítica más profunda que la idea de que las empresas simplemente deberían ser más prudentes. Describe una carrera en la que los actores podrían conocer parte de los peligros, pero seguir adelante porque los incentivos competitivos les parecen más fuertes que las alternativas.

Plantea, sobre todo, tres tesis:

• los futuros modelos podrían superar rápidamente a los humanos en tareas con consecuencias concretas;
• algunas figuras centrales del ecosistema de la IA de frontera ya temerían, en privado, un riesgo existencial derivado de la IA;
• la decisión de entrar en el «endgame» no debería tomarse en las herramientas internas de una empresa privada.

Pero el debate también muestra todo lo que esta alerta aún no resuelve:

1. ¿Cuál es el mecanismo preciso de extinción? El hilo menciona la piratería informática, los recursos y el poder, sin ofrecer un escenario operativo completo.

2. ¿Qué criterios permitirían poner a prueba la predicción? «Antes del final de la década» es un plazo, no un protocolo de verificación.

3. ¿Por qué dimitir en lugar de ejercer influencia desde dentro? Coxon no detalla el efecto concreto que espera de su salida pública.

4. ¿Cómo coordinar los laboratorios de IA frente a China y otros actores? La coordinación entre los laboratorios estadounidenses aún no constituye una respuesta demostrada ante una carrera mundial.

5. ¿Quién impondría una prohibición temporal de las capacidades de los modelos? La propuesta no incluye una autoridad competente, controles ni un régimen de sanciones.

6. ¿Qué deben hacer los no especialistas? El hilo interpela a los investigadores, pero no transforma la preocupación del público en opciones de acción claramente accesibles.

El valor del hilo radica, por tanto, menos en una solución definitiva que en la contradicción que pone de manifiesto: si los actores mejor posicionados para evaluar el riesgo lo consideran grave, deben explicar públicamente por qué aceleran, qué medidas de protección aceptan y quién tiene la legitimidad para decidir el ritmo.