앤트로픽 연구자 퇴사…초지능의 임박한 위험 경고

Jacob Coxon의 스레드: 일곱 가지 연속된 주장

1. 사전 학습의 핵심 현장에서 3년을 보낸 뒤 사임

첫 게시물에서 Jacob Coxon은 Anthropic에서 사임했다고 발표한다. 그는 지난 3년간 먼저 OpenAI에서, 이후 Anthropic에서 사전 학습(pretraining) 업무를 담당했다고 설명한다.

*사전 학습(pretraining)*은 모델이 방대한 데이터 세트로부터 학습하는 단계다. 따라서 이는 커뮤니케이션이나 공공 정책 같은 주변적 직무가 아니라 최첨단 모델의 성능 향상과 직접적으로 연관된 역할이다.

Coxon은 OpenAI와 Anthropic 모두 “책임감 있게 행동하지 않는다”고 주장한다. 그에 따르면 두 회사는 스스로 개선할 수 있는 초지능을 향해 곧장 질주하며 모든 사람의 생명을 걸고 도박을 벌이고 있다.

그의 출발점은 업계 외부의 비판이 아니라 내부자의 증언이다. 이것만으로 그가 경고한 위험이 입증되는 것은 아니지만, 그의 메시지가 큰 파장을 일으킨 이유는 설명해 준다. 그는 자동화에 대한 추상적인 우려를 말하는 것이 아니다. AI 경쟁의 역학을 가까이에서 지켜봤다고 주장하는 것이다.

2. 곧 인간을 능가하고 현실 세계에서 행동할 수 있는 시스템

두 번째 게시물에서 Coxon은 개발 중인 기술의 위력을 과소평가하지 말라고 촉구한다. 그는 이 시스템들이 머지않아 인간을 능가하고, 어떤 시스템이든 해킹하며, 하루아침에 여러 분야 전체를 혁신하고, 실질적인 권력과 자원을 확보할 수 있게 될 것이라고 설명한다.

그는 두 가지 요소를 강조한다.

• 컴퓨터 해킹, 과학 및 계획 능력에서 관찰되는 발전
• 이러한 발전이 둔화되고 있다는 가시적 징후가 없다는 점

따라서 그의 논리는 단순히 질문에 더 잘 답하는 AI만을 전제로 하지 않는다. 그는 빠른 혁신을 만들어 내고 인프라, 조직 또는 물적 자원에 개입할 수 있는 더욱 범용적인 시스템을 예상한다.

Coxon의 주장은 우월한 지능이 단순한 대화형 비서를 훨씬 넘어 실질적인 권력으로 전환될 수 있다는 것이다.

바로 이 대목에서 물리적 제약을 지적하는 이들의 반론이 제기된다. 이들에 따르면 더 지능적이라고 해서 현실 세계에서 물체를 자동으로 제작하거나, 이동시키거나, 통제하거나, 시험할 수 있는 것은 아니다.

3. AI를 개발하는 사람들이 사적으로 표명하는 두려움

세 번째 게시물에서 Coxon은 한발 더 나아간다. 그는 AI를 개발하는 사람들이 AI가 2020년대가 끝나기 전에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다고 쓴다. 그는 이것이 마케팅을 위한 주장이 아니라고 강조한다.

그에 따르면 많은 경영진과 선임 연구자들은 합리적으로 보이기 위해 공개적으로는 더 신중한 표현을 사용한다. 하지만 이들이 사적으로는 두려움을 드러낸다고 그는 주장한다. 또한 다른 어떤 인간 활동도 이와 비슷한 수준의 위험을 초래하지 않는다고 덧붙인다.

스레드의 이 부분은 매우 중요하다. OpenAI와 Anthropic의 모든 직원이 동일한 확신을 공유한다고 말하는 것은 아니기 때문이다. Coxon은 최첨단 모델을 개발하고 이끄는 사람들 중 일부를 언급하며, 각자의 확신 정도에는 차이가 있다고 설명한다.

그의 비판의 핵심은 일부 관계자들이 사적으로 느끼는 두려움과 공개적으로 경쟁을 계속하는 행보 사이의 불일치다.

그러나 논평들은 이 증언을 확정된 사실로 받아들이지는 않는다. 이들은 무엇보다도 지도자들이 재앙을 우려한다고 해도, 그러한 우려만으로는 재앙이 어떻게 일어날지 설명되지 않는다고 강조한다.

4. 왜 OpenAI와 Anthropic에서 계속 일하는가?

네 번째 게시물은 가장 명백한 반론에 답한다. 당사자들이 정말로 위험을 믿는다면 왜 계속 그 일을 하는가?

Coxon은 서로 다른 두 가지 진단을 제시한다.

1. OpenAI에서는 많은 사람이 문명 차원의 쟁점을 깊이 내면화하지 못했을 수 있다. 위험은 논의되고 있지만, 일상적인 의사결정에 충분히 반영되지 못한 추상적인 개념으로 남아 있다는 것이다.

2. 반면 Anthropic에서는 이러한 쟁점을 잘 이해하고 있을 수 있다. 따라서 문제는 무지가 아니다. Coxon은 오히려 구성원들이 다른 누구도 책임감 있게 행동하지 않을 것이라고 판단하기 때문에, 회사가 선두에 서기 위한 경쟁에 갇혀 있다고 주장한다. 이 논리에 따르면 위험을 감수하더라도 승리해야 한다.

이러한 구분은 중요하다. 이는 연구소들이 그저 무모하거나 위험을 인식하지 못한다는 주장으로 그의 논지를 축소하지 않도록 해준다. OpenAI에 대해서는 내면화의 부족을, Anthropic에 대해서는 위험을 명확히 이해하면서도 이를 감수하는 경쟁 논리를 설명한다.

따라서 이 스레드는 AI 경쟁을 AI 안전이나 alignment의 문제인 동시에 거버넌스와 전략의 문제로 제시한다.

5. 민간 기업이 결정해서는 안 되는 도박, « endgame »

다섯 번째 게시물에서 Coxon은 이러한 경쟁을 받아들이고 « endgame »에 돌입하는 것을 오만한 도박이라고 규정한다. 그는 그러한 결정이 민간 기업의 Slack에서 내려져서는 안 된다고 주장한다.

이 문장은 논쟁의 초점을 옮긴다. Coxon은 단순히 더 많은 평가, 기술적 안전장치 또는 alignment 연구자를 요구하는 것이 아니다. 그는 인류에게 잠재적으로 돌이킬 수 없는 결과를 초래할 수 있다고 판단되는 경로를 민간이 결정하는 것 자체의 정당성에 이의를 제기한다.

그는 또한 alignment를 가속하려는 시도, 다시 말해 첨단 AI가 인간의 목표와 지속적으로 양립하도록 만드는 문제를 최대한 빠르게 해결하려는 시도는 더 나은 경로가 없다는 데 대한 엄청난 확신을 요구한다고 덧붙인다.

그의 반론은 소수의 민간 조직이 초지능을 향한 질주를 결정할 권리 자체를 겨냥한다.

이는 운영 측면에서 가장 구체적으로 다뤄지지 않은 지점이기도 하다. Coxon은 더 나은 경로가 존재할 수 있다고 보지만, 그것이 무엇인지도, 누가 이를 선택해야 하는지도 구체적으로 설명하지 않는다.

6. 미국 연구소 간의 공조, 그리고 잠재적인 일시적 금지

여섯 번째 게시물에서 Coxon은 공조의 가능성을 낙관적으로 본다고 말한다. 그는 Hugging Face에 대한 공격과 같은 경고 신호로 인해 미국 연구소 간 개발 속도에 관한 합의가 이전보다 더 실현 가능해졌다고 평가한다.

그러나 그는 현재 세계가 글로벌 경쟁을 막을 수 있는 올바른 방향으로 나아가고 있다고는 생각하지 않는다고 분명히 밝힌다. 이를 막으려면 모델 역량의 일시적 금지와 같은 비용이 큰 조치가 필요할 수 있다고 말하며, 그의 글에서는 이를 모델 역량 향상을 일시적으로 금지하는 것으로 표현한다.

그러면 문제는 정치적·제도적 차원으로 넘어간다. 누가 조정하고, 누가 감독하며, 누가 위반을 제재할 것인가? 또한 다른 행위자들이 속도를 늦추는 동안 비협조적인 행위자가 가속하는 것을 어떻게 막을 것인가?

@TorstenProchnow가 공유한 이미지는 이러한 우려의 극단적인 모습을 보여준다. 두 군인이 눈밭의 열린 원형 해치 옆에 서 있고, 위로 들어 올려진 금속 덮개 아래에서 거대한 빨간색 원뿔이 돌출되어 있다. 이는 AI가 언젠가 무기 체계를 손상시킬 수 있다는 우려를 나타낸다.

Coxon은 AI 연구소 간 공조를 촉구하지만, 이를 집행할 메커니즘도, 참여자 명단도, 비협조적인 행위자에 대한 구체적인 대응책도 제시하지 않는다.

7. 연구소 연구자들을 향한 마지막 호소

마지막 게시물에서 Coxon은 연구소 연구자들에게 직접 호소한다. 그는 앞으로 몇 년이 어떻게 전개될지 구체적으로 상상해 보라고 요청한다.

그들은 초지능의 정신을 엄밀하게 이해하지 못한 채, 초지능을 목표로 하는 reinforcement learning, 즉 RL 훈련을 시작하고 싶은가? « 어차피 일어날 일 »이라는 이유로 고개를 숙여야 하는가, 아니면 이 순간을 붙잡고 다른 조건을 요구해야 하는가?

그 호소는 도덕적이면서도 직업적이다. 연구자들에게 제도적 맥락을 당연한 것으로 받아들이지 말라고 촉구한다. 또한 연구 조건, 배포 기준선, 역량에 관한 결정을 자신들이 책임져야 할 사안으로 다룰 것을 요구한다.

이 스레드는 내부의 반대 목소리를 촉구하며 끝나지만, 연구소 외부의 사람들이 활용할 수 있는 수단이 무엇인지는 열린 질문으로 남겨 둔다.

답변들: 증거, 중국, 행동 수단을 둘러싼 더 격렬한 논쟁

스레드 아래의 논의는 동의나 반대에 그치지 않는다. 가장 강력한 이의 제기는 세 가지 영역에 집중된다. 멸종 시나리오의 기술적 개연성, 중국과 관련된 지정학적 딜레마, 그리고 경쟁을 늦출 구체적인 장치의 부재다.

경쟁을 고착시키는 논거로서의 중국

@timschuster의 답변은 반복적으로 등장하는 전략적 논리를 요약한다. 미국 연구소들이 속도를 늦추면 중국에 우위를 내주게 된다는 것이다.

"중국이 AI 경쟁에서 승리하는 편이 낫다고 생각하십니까? 가능한 한 빠르게 발전하는 것 외에는 대안이 없습니다. 이는 국가 안보를 위한 필수 과제입니다." @timschuster

확인 가능한 자료에서 Coxon은 이 답변에 직접 대응하지 않았다. 그의 여섯 번째 게시물은 중국만 최첨단 역량을 개발하도록 내버려 두자고 주장하지 않는다. 오히려 미국 연구소들 간의 공조와 세계적 경쟁을 막겠다는 목표를 언급한다.

하지만 바로 이것이 빠진 연결 고리다. 미국 기업들 사이의 합의가 어떻게 세계적인 경쟁을 막을 수 있는가? 중국 문제는 제기되지만, 구체적인 답은 제시되지 않는다.

재앙이 발생하는 구체적인 메커니즘은 여전히 제시되지 않는다

핵심적인 실증적 비판은 위험이 불가능하다고 단정하지는 않는 독자들에게서 나온다. 이들은 일반적 역량이 인류 멸종으로 이어지는 구체적인 인과관계를 요구한다.

"핵무기나 일종의 생물학적 수단을 예로 들지 않고도 AI가 어떻게 '우리 모두를 죽일' 수 있는지 누군가 설명해 줄 수 있나요? 그럴 수 있다는 말을 믿지 않는다는 뜻도 아닙니다. AI가 말 그대로 어떻게 우리 모두를 죽일 수 있는지 정말 이해가 되지 않을 뿐입니다. 사회적·경제적 영향은 어느 정도 이해하지만, 제가 말하는 것은 사람들이 계속 경고하면서도 구체적으로 설명하지 못하는 이 종말론적 시나리오입니다." @LiLBilly___

Coxon은 해킹, 자원 확보, 현실 세계의 권력 획득을 언급한다. 그러나 그의 스레드는 기반 시설 접근, 대응책 회피, 자원 동원, 인간의 조직적 대응이 불가능해지는 과정 등 일련의 실행 단계를 구체적으로 설명하지 않는다.

이 논의는 Coxon이 전한 내부의 우려를 직접 반박하지는 않지만, 그가 경고한 위험을 훨씬 더 구체적으로 입증할 것을 요구한다.

지능과 물리적 힘의 경계

@philipturnerar는 더 뛰어난 지능만으로 물질세계를 근본적으로 바꿀 수 있다는 생각에 이의를 제기한다.

"사람들이 현실과 공상과학 영화의 경계를 점점 더 흐리고 있다고 생각합니다. 현실에 대한 이론적 모델이 더 이론적으로 변한다고 해서 무엇이 달라지겠습니까? 똑똑한 사람이 더 똑똑해진다고 해도, 물리적 세계의 물리적인 것들에는 자원과 실험이 필요하다는 사실은 달라지지 않습니다. 인공지능에 비밀번호나 작전 보안 정보를 넘겨주지 마십시오. 고개가 절로 저어지네요..." @philipturnerar

이 이의 제기는 두 번째 게시물을 직접 겨냥한다. Coxon은 시스템이 자원과 권력을 획득할 수 있다고 주장하지만, 그러한 획득을 제한할 수도, 제한하지 않을 수도 있는 물리적·법적·재정적·제도적 제약을 설명하지 않는다.

그의 스레드는 @philipturnerar에게 직접 답하지 않는다. 양측의 견해차는 그대로 남아 있다. Coxon에게 역량의 발전은 현실 세계의 힘으로 전환될 수 있다. 반면 그의 반대자에게 지능은 물리적 세계의 자원이나 실험을 대신할 수 없다.

경고는 반증 가능해야 하는가?

@_4lex_4는 경고가 검증 가능한 예측의 형태를 띠어야 하며, 그 예측이 틀렸을 경우 책임도 뒤따라야 한다고 요구한다.

"다음과 같이 할 수 있나요?

1. 실제로 반증 가능한 구체적인 예측을 제시하기
2. 예측이 틀렸다면 사과하고 AI 종말론 업계에서 떠나기 종말론자들의 헛소리는 정말 지긋지긋합니다. Yudkowsky는 똑똑하지 않고, Dario의 뜻대로 됐다면 GPT-2는 2019년에 폐쇄됐을 겁니다." @_4lex_4

Coxon은 분명 « 10년이 끝나기 전까지 »라는 시간적 범위를 제시하지만, 중간 지표는 전혀 제안하지 않는다. 관찰 가능한 역량 기준선도, 발동 조건도, 그의 진단을 확인하거나 반박할 수 있는 시나리오도 스레드에 나타나지 않는다.

경고는 심각하지만, 검증 가능한 가설의 형태로 제시되지는 않는다.

사임할 것인가, 아니면 남아서 내부에서 영향력을 행사할 것인가?

Anthropic을 떠나기로 한 결정 역시 논란의 대상이 된다. @FlyaKiet는 공개적으로 퇴사하는 것이 내부에서 압력을 행사하는 것보다 왜 더 유용한지 묻는다.

"퇴사가 도움이 될 거라고 생각하는 이유가 궁금합니다. 왜 남아서 올바른 접근 방식을 옹호하고 실질적인 내부 변화를 추진하지 않나요? 오히려 영향력을 덜 행사할 수 있는 위치로 옮겨가 문제를 더 악화시킨 것 같습니다." @FlyaKiet

제공된 대화에서 Coxon은 이 질문에 답하지 않는다. 그의 첫 게시물은 퇴사를 확인하지만, 이 결정에 수반되는 전략은 설명하지 않는다. 따라서 이 스레드만으로는 그가 내부적 해결 수단이 소진되었다고 판단하는지, 자신의 공개 발언으로 외부의 움직임을 촉발하려는 것인지, 아니면 다른 형태의 행동을 준비하고 있는지 알 수 없다.

대중은 무엇을 할 수 있는가?

@ZayraYves는 논의를 연구소에서 기술 전문성도, 막대한 재산도, 권력층에 대한 접근성도 없는 사람들에게로 옮긴다.

"기술 전문가도 아니고, 억만장자도 아니며, 벙커도 소유하지 않은 우리는 이 정보를 가지고 대체 무엇을 해야 하는지 누가 설명해 줄 수 있나요? 정말로요. 모두가 하루 24시간, 일주일 내내 경고만 울려대지만, 언제 어디서나 누구에게든 적용할 수 있는 합리적인 글로벌 해결책을 제시하는 사람은 아무도 없는 것 같습니다. 온통 탬버린과 광대뿐이에요." @ZayraYves

이 이의 제기는 해당 스레드의 중요한 한계를 드러낸다. Coxon은 연구자들에게 « 다른 조건 »을 요구하라고 촉구하지만, 시민, 비기술직 종사자, 선출직 공직자, 규제 당국 또는 국제기구를 위한 로드맵은 제시하지 않는다.

연구소에 대한 진단과 집단행동 사이에서, 이 스레드는 실질적인 공백을 남긴다.

일시적 금지의 실현 가능성

여섯 번째 게시물은 강력한 조치, 즉 모델 역량 향상을 일시적으로 금지하는 방안을 언급한다. @Modernengineer는 그 시행 문제를 직접 겨냥한다.

"진지한 질문입니다. 일시적 금지를 대체 어떻게 실현할 수 있나요? 누가 자발적으로 이에 동의하겠습니까? 책임감 있게 행동하고 싶다는 건 이해하지만, 악의적 행위자들이 선두를 차지하도록 내버려 두고, 이후 다시는 그들을 추월하지 못할 수도 있게 만드는 것이 과연 얼마나 책임감 있는 일인가요?" @Modernengineer

@Modernengineer가 공유한 캡처에는 Jacob Coxon의 다크 모드 게시물이 담겨 있다. « 모델 역량 향상에 대한 일시적 금지 »라는 표현이 노란색으로 강조되어 있다. 이 이미지는 그의 제안에서 가장 논란이 되는 지점을 부각한다. 그는 그러한 조치에 큰 비용이 따를 수 있음을 인정하면서도, 이를 어떻게 강제할 수 있는지는 설명하지 않는다.

제공된 자료에서 Coxon은 @Modernengineer에게 직접 답하지 않는다. 그는 공조가 가능하다는 입장을 옹호하지만, 법적 체계, 검증 메커니즘, 제재, 협력을 거부하는 연구소나 국가에 대한 대응 방안 중 어느 것도 구체적으로 설명하지 않는다.

이 스레드가 확립한 것과 여전히 답하지 않은 것

Jacob Coxon의 스레드가 주목할 만한 이유는 기업들이 단순히 더 신중해야 한다는 주장보다 한층 근본적인 비판을 제기하기 때문이다. 그는 행위자들이 위험의 일부를 알고 있을 수 있음에도, 경쟁적 유인이 대안보다 더 강하다고 여기기 때문에 계속 나아가는 경쟁 구도를 묘사한다.

그는 특히 세 가지 주장을 제시한다.

• 미래의 모델은 현실적인 결과를 초래하는 과업에서 인간을 빠르게 능가할 수 있다.
• 최첨단 AI 생태계의 핵심 인물들 가운데 일부는 이미 사적으로 AI로 인한 실존적 위험을 우려하고 있을 수 있다.
• « 엔드게임 »에 진입할지 여부를 민간 기업의 내부 도구를 통해 결정해서는 안 된다.

그러나 이 논의는 이러한 경고가 아직 해결하지 못한 모든 문제도 보여준다.

1. 인류 멸종의 구체적인 메커니즘은 무엇인가? 이 스레드는 해킹, 자원, 권력을 언급하지만 완전한 작동 시나리오는 제시하지 않는다.

2. 어떤 기준으로 이 예측을 검증할 수 있는가? « 2030년 이전 »은 기한이지 검증 프로토콜이 아니다.

3. 왜 내부에서 영향력을 행사하는 대신 퇴사했는가? Coxon은 자신의 공개 퇴사를 통해 기대하는 구체적인 효과를 설명하지 않는다.

4. 중국과 다른 행위자들에 맞서 AI 연구소들을 어떻게 공조시킬 것인가? 미국 연구소 간의 공조는 아직 세계적인 경쟁에 대한 효과가 입증된 해답이 아니다.

5. 누가 모델 역량의 일시적 향상 금지를 강제할 것인가? 이 제안에는 관할 기관도, 감독 체계도, 제재 장치도 포함되어 있지 않다.

6. 비전문가들은 무엇을 해야 하는가? 이 스레드는 연구자들에게 행동을 촉구하지만, 대중의 우려를 명확하고 접근 가능한 행동 선택지로 전환하지는 않는다.

따라서 이 스레드의 가치는 완결된 해법보다는 그것이 드러내는 모순에 있다. 위험을 가장 잘 평가할 수 있는 위치에 있는 이들이 그 위험을 심각하다고 판단한다면, 왜 속도를 높이는지, 어떤 보호 조치를 받아들일 것인지, 그리고 누가 그 속도를 결정할 정당성을 지니는지를 공개적으로 설명해야 한다.