Pesquisador deixa a Anthropic e alerta para os perigos iminentes da superinteligência

A sequência de Jacob Coxon, sete argumentos sucessivos

1. A demissão, após três anos no centro do pré-treinamento

Em sua primeira mensagem, Jacob Coxon anuncia que pediu demissão da Anthropic. Ele afirma ter passado os últimos três anos trabalhando com pré-treinamento, primeiro na OpenAI e depois na Anthropic.

O pré-treinamento é a fase durante a qual um modelo aprende a partir de conjuntos de dados muito grandes. Trata-se, portanto, de uma função diretamente ligada ao aumento das capacidades dos modelos de fronteira, e não de uma atividade periférica de comunicação ou de políticas públicas.

Coxon afirma que nem a OpenAI nem a Anthropic « agem de maneira responsável ». Segundo ele, elas avançam diretamente rumo a uma superinteligência capaz de se autoaperfeiçoar e estão apostando a vida de todos.

Seu ponto de partida é um testemunho interno, não uma crítica externa à indústria. Isso, por si só, não comprova o perigo anunciado, mas explica o alcance da mensagem. Ele não descreve uma preocupação abstrata com a automação. Afirma ter observado de perto a dinâmica da corrida pela IA.

2. Sistemas em breve sobre-humanos, capazes de agir no mundo

Em seu segundo post, Coxon pede que não se subestime o poder da tecnologia em desenvolvimento. Ele descreve sistemas que em breve se tornariam sobre-humanos, capazes de invadir qualquer sistema, revolucionar áreas inteiras da noite para o dia e adquirir poder, bem como recursos reais.

Ele enfatiza dois elementos:

• os avanços observados em ataques cibernéticos, nas ciências e nas capacidades de planejamento;
• a ausência de qualquer desaceleração visível desses avanços.

Seu raciocínio, portanto, não se baseia apenas em uma IA que responderia melhor às perguntas. Ele prevê sistemas mais gerais, capazes de produzir avanços rápidos e de intervir em infraestruturas, organizações ou recursos materiais.

O argumento de Coxon é que uma inteligência superior poderia se transformar em poder efetivo, muito além de um simples assistente conversacional.

É justamente essa formulação que provoca a objeção daqueles que ressaltam as restrições materiais. Para eles, ser mais inteligente não permite automaticamente fabricar, deslocar, controlar ou testar objetos no mundo físico.

3. Um medo manifestado em privado pelas pessoas que desenvolvem a IA

O terceiro post ultrapassa um limiar. Coxon escreve que as pessoas que desenvolvem a IA acreditam sinceramente que ela poderia matar todos nós antes do fim da década. Ele insiste que isso não seria um argumento de marketing.

Segundo ele, muitos executivos e pesquisadores seniores usariam, em público, formulações mais cautelosas para parecer razoáveis. Mas, em privado, afirma, essas mesmas pessoas manifestariam seu medo. Ele acrescenta que nenhuma outra atividade humana apresentaria um nível de perigo comparável.

Essa parte da sequência é essencial, pois não afirma que todos os funcionários da OpenAI e da Anthropic compartilham uma convicção idêntica. Coxon se refere a algumas das pessoas que desenvolvem e dirigem os modelos de fronteira, com diferentes graus de convicção.

O cerne de sua acusação é uma dissonância entre o medo privado de alguns atores e a continuidade pública da corrida.

No entanto, os comentários não consideram esse testemunho como um fato definitivamente estabelecido. Eles ressaltam sobretudo que, mesmo que dirigentes temam uma catástrofe, esse temor ainda não explica como ela ocorreria.

4. Por que continuar na OpenAI e na Anthropic?

O quarto post responde à objeção mais evidente: se as pessoas envolvidas realmente acreditam no perigo, por que continuam o trabalho?

Coxon propõe dois diagnósticos distintos.

1. Na OpenAI, muitas pessoas não teriam internalizado profundamente as implicações para a civilização. O risco estaria presente nas discussões, mas continuaria sendo uma abstração insuficientemente incorporada às decisões cotidianas.

2. Na Anthropic, ao contrário, as implicações seriam bem compreendidas. Portanto, o problema não seria a ignorância. Coxon afirma, em vez disso, que a empresa estaria presa em uma corrida para chegar primeiro, porque seus membros considerariam que ninguém mais agirá de maneira responsável. Assim, segundo essa lógica, seria preciso vencer apesar do risco.

Essa distinção é importante. Ela evita reduzir seu argumento à ideia de que os laboratórios seriam simplesmente imprudentes ou inconscientes. Na OpenAI, ele descreve uma falta de internalização. Na Anthropic, descreve uma lógica de competição assumida apesar de uma compreensão explícita dos riscos.

A sequência de posts apresenta, assim, a corrida pela IA como um problema de governança e estratégia, tanto quanto de segurança de IA ou de alignment.

5. O « endgame », uma aposta que não deveria caber a uma empresa privada

Em seu quinto post, Coxon classifica a aceitação dessa corrida e a entrada no « endgame » como uma aposta arrogante. Ele afirma que tal decisão não deveria ser tomada no Slack de uma empresa privada.

Essa frase muda o foco do debate. Coxon não pede apenas mais avaliações, salvaguardas técnicas ou pesquisadores de alignment. Ele contesta a legitimidade de uma decisão privada sobre uma trajetória que considera potencialmente irreversível para a humanidade.

Ele acrescenta que tentar acelerar o alignment, ou seja, resolver a toda velocidade o problema de tornar uma IA avançada compatível de forma duradoura com os objetivos humanos, exigiria uma confiança extraordinária na inexistência de trajetórias melhores.

Sua objeção diz respeito ao próprio direito de algumas organizações privadas decidirem por uma corrida rumo à superinteligência.

Esse também é o ponto menos desenvolvido no plano operacional. Coxon considera que poderiam existir trajetórias melhores, mas não detalha quais seriam, nem quem ficaria encarregado de escolhê-las.

6. Coordenação entre laboratórios americanos, seguida de uma possível proibição temporária

Em seu sexto post, Coxon se diz otimista quanto ao potencial de coordenação. Ele considera que sinais de alerta, como o ataque à Hugging Face, tornaram mais viáveis acordos entre laboratórios americanos sobre o ritmo de desenvolvimento.

No entanto, ele esclarece que não acredita que o mundo esteja atualmente no caminho certo para impedir uma corrida global. Segundo ele, essa prevenção poderia exigir medidas onerosas, como uma proibição temporária das capacidades dos modelos, formulada em seu texto como uma proibição temporária de aprimorar essas capacidades.

A questão torna-se, então, política e institucional: quem coordena, quem fiscaliza, quem pune as violações e como impedir que um ator não cooperativo acelere enquanto os demais desaceleram?

A imagem compartilhada por @TorstenProchnow ilustra uma versão extrema dessa preocupação: dois militares estão na neve, perto de uma escotilha circular aberta, da qual emerge um imponente cone vermelho sob uma tampa metálica levantada. Ela remete ao temor de uma IA que poderia, um dia, comprometer sistemas de armamento.

Coxon defende a coordenação entre laboratórios de IA, mas não apresenta um mecanismo de aplicação, uma lista de participantes nem uma resposta precisa em relação aos atores não cooperativos.

7. O apelo final aos pesquisadores dos laboratórios

Em seu último post, Coxon dirige-se diretamente aos pesquisadores que trabalham em laboratórios. Ele lhes pede que imaginem concretamente como serão os próximos anos.

Eles querem iniciar um treinamento de reinforcement learning, ou RL, voltado para uma superinteligência sem compreender rigorosamente sua mente? Devem baixar a cabeça porque « isso vai acontecer de qualquer maneira » ou aproveitar este momento para exigir outras condições?

O apelo é moral, mas também profissional. Convida os investigadores a não considerarem o contexto institucional como um dado adquirido. Pede-lhes que tratem as condições de investigação, os limiares de implementação e as decisões relativas às capacidades como questões sobre as quais têm responsabilidade.

O fio termina com um apelo à dissidência interna, mas deixa em aberto a questão das formas de ação disponíveis para as pessoas externas aos laboratórios.

As respostas: um debate mais duro sobre as provas, a China e os meios de ação

A discussão sob o fio não se limita à concordância ou à rejeição. As objeções mais fortes incidem sobre três áreas: a plausibilidade técnica do cenário de extinção, o dilema geopolítico com a China e a ausência de um mecanismo concreto para abrandar a corrida.

A China como argumento de bloqueio

A resposta de @timschuster resume a lógica estratégica que surge repetidamente: abrandar os laboratórios americanos equivaleria a ceder a vantagem à China.

"Prefeririam que a China vencesse a corrida à IA? Não há alternativa senão avançar o mais rapidamente possível. É um imperativo de segurança nacional." @timschuster

Nos elementos disponíveis, esta resposta não recebeu uma resposta direta de Coxon. A sua sexta publicação não apela a que se deixe a China desenvolver sozinha as capacidades de fronteira. Pelo contrário, menciona uma coordenação entre laboratórios americanos e o objetivo de impedir uma corrida mundial.

Mas é precisamente esse o elo em falta: como poderiam acordos entre empresas americanas impedir uma corrida global? A questão chinesa é levantada, mas continua sem uma resposta precisa.

O mecanismo concreto de uma catástrofe continua ausente

A principal crítica empírica vem de leitores que não dizem necessariamente que o risco é impossível. Pedem uma cadeia causal precisa entre capacidades gerais e a extinção humana.

"Alguém poderia explicar-me como é que a IA poderia «matar-nos a todos» sem usar como exemplo uma arma nuclear ou algum tipo de meio biológico? Nem sequer estou a dizer que não acredito que seja possível; simplesmente não compreendo como é que a IA pode literalmente matar-nos a todos. Quer dizer, compreendo até certo ponto o impacto social e económico, mas estou a falar deste cenário apocalíptico sobre o qual as pessoas continuam a alertar-nos sem conseguirem ser verdadeiramente específicas." @LiLBilly___

Coxon menciona a pirataria informática, a aquisição de recursos e de poder real. Mas o seu fio não descreve uma sucessão de etapas operacionais, como o acesso a infraestruturas, a evasão às contramedidas, a mobilização de recursos e a impossibilidade de uma resposta humana coordenada.

A discussão não refuta diretamente o testemunho de Coxon sobre os receios manifestados em privado; exige uma demonstração muito mais precisa do perigo anunciado.

A fronteira entre inteligência e poder físico

@philipturnerar contesta a ideia de que uma inteligência superior seja suficiente para transformar radicalmente o mundo material.

"Penso que as pessoas confundem cada vez mais a realidade com os filmes de ficção científica. Como é que um modelo teórico da realidade vai mudar alguma coisa por se tornar mais teórico? Uma pessoa inteligente tornar-se ainda mais inteligente não altera o facto de que as coisas físicas no mundo físico exigem recursos e testes. Não forneçam as vossas palavras-passe nem informações de segurança operacional a uma inteligência artificial. Só posso abanar a cabeça..." @philipturnerar

Esta objeção visa diretamente a segunda publicação. Coxon afirma que os sistemas poderão adquirir recursos e poder, mas não descreve as restrições físicas, jurídicas, financeiras ou institucionais que limitariam, ou não, essa aquisição.

O seu fio não responde diretamente a @philipturnerar. O desacordo permanece total: para Coxon, os avanços nas capacidades podem transformar-se em poder real. Para o seu contraditor, a inteligência não substitui nem os recursos nem a experimentação no mundo físico.

Um alerta deve ser falsificável?

@_4lex_4 pede que os alertas assumam a forma de uma previsão verificável, acompanhada de consequências caso se revele falsa.

"Consegue:

1. Fazer uma previsão concreta que seja efetivamente falsificável
2. Se a sua previsão estiver errada, pedir desculpa e abandonar o negócio do catastrofismo da IA Este lixo catastrofista é tão cansativo; Yudkowsky não é inteligente e, se Dario tivesse conseguido o que queria, o GPT-2 teria sido encerrado em 2019" @_4lex_4

Coxon estabelece, de facto, um horizonte, «até ao final da década», mas não propõe qualquer indicador intermédio. No fio, não aparece nenhum limiar observável de capacidade, nenhuma condição de desencadeamento nem qualquer cenário que permita confirmar ou refutar o seu diagnóstico.

O alerta é grave, mas não está formulado como uma hipótese testável.

Demitir-se ou ficar para exercer influência a partir do interior?

A decisão de deixar a Anthropic também é contestada. @FlyaKiet pergunta por que uma saída pública seria mais útil do que uma pressão interna.

"Por que você acha que pedir demissão ajudaria? Por que não ficar e defender a abordagem correta, pressionando por uma verdadeira mudança interna? Parece que você passou para uma posição com menos influência, o que agravará o problema." @FlyaKiet

Coxon não responde a essa pergunta na conversa fornecida. Sua primeira publicação confirma a demissão, mas não expõe a estratégia associada a essa saída. Portanto, é impossível saber, apenas com base na sequência de publicações, se ele considera que as vias internas estão esgotadas, se sua manifestação pretende desencadear uma mobilização externa ou se está preparando outra forma de ação.

O que o público pode fazer?

@ZayraYves desloca a discussão dos laboratórios para as pessoas sem conhecimento técnico, grande fortuna ou acesso aos círculos de poder.

"Alguém pode explicar o que nós, pessoas sem conhecimento técnico, que não somos bilionárias nem temos bunkers, devemos fazer com essa informação? Estou falando sério. Todo mundo soa o alarme o dia e a noite inteiros, 24 horas por dia, 7 dias por semana, mas ninguém parece ter uma solução global razoável que possa ser aplicada a qualquer pessoa, em qualquer lugar. É tudo pandeiros e palhaços." @ZayraYves

Essa objeção revela uma limitação importante da sequência de publicações. Coxon pede aos pesquisadores que reivindiquem « outras condições », mas não apresenta um roteiro para os cidadãos, os trabalhadores não técnicos, os representantes eleitos, os órgãos reguladores ou as instituições internacionais.

Entre o diagnóstico sobre os laboratórios e a ação coletiva, a sequência deixa um vazio prático.

A viabilidade de uma proibição temporária

A sexta publicação menciona uma medida forte: a proibição temporária de aprimorar as capacidades dos modelos. @Modernengineer aborda diretamente a questão de sua aplicação.

"Pergunta séria. Como seria possível implementar uma proibição temporária? Quem concordaria voluntariamente com isso? Entendo a vontade de agir com responsabilidade, mas até que ponto é responsável permitir que atores mal-intencionados assumam uma liderança que talvez nunca mais seja superada?" @Modernengineer

A captura de tela compartilhada por @Modernengineer mostra justamente uma publicação de Jacob Coxon em modo escuro. Ela destaca, em amarelo, a expressão « uma proibição temporária de aprimorar as capacidades dos modelos ». A imagem torna visível o ponto mais controverso de sua proposta: ele reconhece que a ação poderia ser custosa, sem explicar como poderia ser imposta.

Coxon não responde diretamente a @Modernengineer nos elementos fornecidos. Ele defende a possibilidade de coordenação, mas não especifica o quadro jurídico, os mecanismos de verificação, as sanções nem o tratamento dos laboratórios ou Estados que se recusassem a cooperar.

O que esta sequência de publicações estabelece e o que deixa em aberto

A sequência de publicações de Jacob Coxon é notável porque formula uma crítica mais profunda do que a ideia de que as empresas deveriam simplesmente ser mais cautelosas. Ele descreve uma corrida na qual os atores poderiam conhecer parte dos perigos, mas continuar porque os incentivos competitivos lhes parecem mais fortes do que as alternativas.

Ele apresenta, sobretudo, três teses:

• os futuros modelos poderiam rapidamente superar os humanos em tarefas com consequências concretas;
• pessoas centrais no ecossistema da IA de fronteira já temeriam, em privado, um risco existencial decorrente da IA;
• a decisão de entrar na « fase final » não deveria ser tomada nas ferramentas internas de uma empresa privada.

Mas a discussão também mostra tudo o que esse alerta ainda não resolve:

1. Qual é o mecanismo preciso de extinção? A sequência menciona invasões cibernéticas, recursos e poder, sem apresentar um cenário operacional completo.

2. Quais critérios permitiriam testar a previsão? « Antes do fim da década » é um prazo, não um protocolo de verificação.

3. Por que pedir demissão em vez de exercer influência internamente? Coxon não detalha o efeito concreto que espera de sua saída pública.

4. Como coordenar os laboratórios de IA diante da China e dos demais atores? A coordenação entre laboratórios americanos ainda não constitui uma resposta comprovada a uma corrida global.

5. Quem imporia uma proibição temporária das capacidades dos modelos? A proposta não inclui autoridade competente, mecanismos de controle nem um sistema de sanções.

6. O que os não especialistas devem fazer? A sequência de publicações interpela os pesquisadores, mas não transforma a preocupação do público em opções de ação claramente acessíveis.

O valor do fio reside, portanto, menos numa solução acabada do que na contradição que expõe: se os intervenientes mais bem posicionados para avaliar o risco o consideram sério, devem explicar publicamente por que razão estão a acelerar, que proteções aceitam e quem tem legitimidade para decidir o ritmo.