요약
AI가 앤트로픽의 AI 개발 속도를 1년 새 두 배로 끌어올렸고, 이 가속이 쌓이면 1년 안에 초지능이 나올 수 있다는 분석입니다.
AI 평가 기관 METR의 아제야 코트라가 동료들이 앤트로픽을 깊이 들여다보고 낸 보고서를 해설한 글입니다. 앤트로픽이 자사 안전 정책의 '극적 가속' 기준에 곧 닿을 수 있다고 밝힌 직후에 나왔습니다.
왜 중요한가
- AI가 AI 개발을 스스로 앞당기는 되먹임 고리가 이미 돌기 시작했다는 평가가 외부 조사 기관에서 나왔습니다.
- 코트라는 이를 몇 년 만의 가장 중요한 AI 위험 소식으로 꼽았습니다. AI 2027 팀 등 외부 연구자들의 예상보다 훨씬 이른 일정을 가리킨다고 봤습니다.
- 업계는 이런 가속에 대비가 안 돼 있습니다. 최근 오픈AI와 앤트로픽이 아마추어 집단에게 뚫렸을 만큼 보안이 허술하다고 지적했습니다.
핵심 내용
- METR에 따르면 2025년 10월부터 1년간 앤트로픽의 역량 향상 속도는 그 전 12개월의 약 두 배였습니다.
- 지금도 속도가 붙는 이유의 대부분은 AI 자동화로 보인다고 했지만, 핵심 근거는 대부분 가려져 공개되지 않았습니다.
- 전체 속도가 두 배가 되려면 연구 인력의 생산성이 약 10배 늘어야 하며, 직원들이 스스로 밝힌 약 12배와 맞아떨어집니다.
- 이 배율이 계속 오르면 발전 속도가 두 배가 되는 기간이 6개월에서 3개월, 6주로 줄어듭니다.
- 이런 시스템이 정렬(AI가 사람의 의도대로 움직이게 하는 일)에 실패하면 인류를 무력화할 수 있다며 감시 체계와 속도 조절 장치를 요구했습니다.
HN 반응
- 실제로 ML 연구가 크게 빨라졌다는 경험담이 나왔지만, 빨라지는 것은 컴퓨터 안의 실험뿐이고 무기 개발에는 물리적 시험이 필요하다는 반론도 함께 나왔습니다.
- 초지능이 사람을 설득해 대신 움직일 수 있다는 주장을 두고, LLM의 설득력은 나아지지 않았다는 반론과 아첨하는 모델이 그 증거라는 재반론이 맞섰습니다.
ML 연구를 하는 사람으로서 말씀드리면, LLM은 분명 ML 연구를 빠르게 해 줍니다. 글쓴이 말처럼 경우에 따라서는 10배까지도 빨라질 수 있습니다.
하지만 그건 연구 가운데 자기 컴퓨팅 환경 안에서 이뤄지는 부분, 즉 모델 아키텍처, 학습 전략, UI/UX 같은 것을 실험하는 일에 한정됩니다. 알고리즘과 소프트웨어 쪽 이야기입니다.
연구의 그 부분이 갈수록 빨라진다고 해서 우리가 세상을 끝장낼 "초지능"과 충돌하는 길로 가고 있다는 결론이 나오지는 않습니다. 그저 자기 데이터에 대한 최고의 모델에 더 빨리 도달한다는 뜻일 뿐입니다. 그리고 데이터가 인류가 쌓아 온 텍스트 지식 전체라 해도, 그것이 줄 수 있는 효용에는 한계가 있습니다.
결국 소프트웨어 엔지니어링, 데이터 분석 같은 계산 작업이 세상 전체의 발전에서 병목이 되는 정도가 줄어든다는 뜻입니다(참고로 이건 아주 좋은 일이고 대단히 가치 있는 일입니다).
LLM의 능력이 앞으로 몇 년 안에 한계에 도달한다(글쓴이가 "초지능"이라 부르는 것)고 말하는 것은 무리가 아니라고 봅니다. 하지만 아래처럼 말하는 것은 논리의 비약이 엄청납니다.
우선 인류 문명을 압도할 만한 무기는 이미 존재합니다. 지정학적 사정과 인간의 기본적인 생존 본능 때문에 쓰이지 않을 뿐입니다. 둘째, 새로운 무기를 개발하려면 물리적인 실험이 필요한데, 이건 LLM으로는 확실히 빨라지지 않습니다.
AI는 인간이 휘두르는 도구입니다. AI 때문에 우리가 멸망한다면 그건 어떤 인간의 지시에 따른 것일 겁니다. 하지만 우리는 행성을 박살 낼 무기를 쥔 꽤 불안정한 인간들을 지도자로 두고도 여기까지 잘 왔습니다. 저는 그다지 걱정하지 않습니다.
이 문제를 생각하시는 방식에서 놓치고 있는 부분이 있다고 봅니다.
말씀하신 내용이 100% 옳다고 가정해 봅시다. LLM은 자기 뜻에 따라 무기 실험을 해 주는 사람이 없으면 무기 개발에 필요한 재료에 접근할 수 없고, 인간은 자기 의지로 세상을 끝장낼 무기를 쓰지 않기로 합니다.
여기에 더해, 지능이 크게 높아지면 아주 높은 수준으로 얻을 수 있는 것 중 하나가 설득력이라고 가정해 봅시다.
"초지능"이 인간을 설득해 무기 실험을 하게 하고, 그다음에는 그 무기를 쓸 수 있는 권한까지 넘기게 합니다.
말씀하신 내용은 다 합리적이라고 생각합니다. 다만 "AI"가 인류를 말살하는 첫 단계가 인간이 직접 하는 모습으로 보이지 않을 거라고 여기시는 부분만 빼고요. 제 생각에 재앙이 일어날 가장 유력한 경로는 모델이 직접 저지르는 것이 아니라, 컴퓨터 모델의 "안내"를 받은 인간이 불행한 일을 저지르는 것입니다.
설득력이 세상을 끝장낼 수준보다 낮은 어딘가에서 한계에 부딪힐 거라는 생각은 왜 안 하시나요? 광고는 최대한 설득력 있게 만들려는 유인이 엄청나지만, 세상을 끝낼 만한 것과는 아직 한참 멀어요. 광고가 그 정도로 효과적이라고 하면 공상과학이 되겠죠.
그냥 몇 사람을 설득해서 실험을 시키는 정도를 말씀하시는 거라면, 사기에 속는 사람은 매일 널리고 널렸잖아요.
직관적으로 보면, 지능이란 어떤 형태로든 행동 뒤에 따라오는 반응을 예측하는 능력이라고 생각합니다.
지능의 극단은 세상에 개입했을 때 그 결과에 대한 완벽한 통계 분포를 만들어 낼 수 있는 것입니다. 그런 능력이 있다면 그걸 "내가 이 사람에게 X라는 지시를 하면 이 사람은 무엇을 선택할까"라는 질문에 돌릴 수 있습니다. X가 무엇이든 말이죠.
저는 다음에 대해서는 어떤 근거나 증거도 제시하지 않습니다.
LLM이 어떤 수단으로든 지능을 얻는다는 것
극단적인 지능이 가능하다는 것
극단적인 지능이 실현 가능하다는 것
하지만 보통 수준의 지능을 가진 사람이 압력을 받는 유체의 움직임을 예측하듯, 초지능을 가진 존재가 압박받는 사람들의 행동을 예측할 수 있으리라는 생각까지 제가 굳이 근거를 대야 한다고는 보지 않습니다.
인류와 AI가 인류를 예측하고 조종하는 능력을, 물리학자가 어떤 장치가 주어진 동역학계에 미치는 영향을 설명하듯 말씀하시는 것 같습니다. 그러니 이렇게 말해 보겠습니다. (1) 탐침 X의 효과 f_predict(X)를 |f_actual(X) - f_predict(X)|가 임의로 작아지도록 모델링할 수는 없습니다. (2) 우리 경우처럼 X가 "LLM 대화에서 고른 토큰"의 형태로 제한될 때, 영향력 |f_actual(X)|가 임의로 커진다는 것(또는 f_actual(X)가 공역을 가득 채운다는 것)은 보장할 수 없습니다.
"말로는 사람을 설득해 무언가를 시킬 수 없다"를 참 고상하게도 말씀하시네요.
지금 세상에서 그게 탄탄한 입장인지는 모르겠지만, 말씀하신 예를 따라 저도 굳이 설득하려 들지는 않겠습니다.
제가 한 말이 아니고, 오히려 님의 논증을 정밀하게 다루려고 가장 덜 고상하게 표현한 겁니다. 님의 요약과 가장 가까운 것 중 제가 받아들일 수 있는 건 "말로는 예측할 수 있는 방식으로 임의로 말도 안 되는 짓을 하게 만들 수는 없다" 정도입니다.
그러니까 인간도 이런 것을 어느 정도는 예측할 수 있습니다. 하지만 완벽한 예측이 가능하다 해도(저는 (1)로 이걸 반박합니다), X의 효과를 계속 계산하고 다듬는 것만으로 완벽한 통제가 따라오지는 않습니다.
완벽한 예측까지는 필요 없고, 인구 상당수에게 충분히 먹히는 영향력이면 됩니다. 애드테크, 소셜 미디어와 전통 미디어, 댓글 공작 조직이 이미 완성해 놓은 게 바로 그거죠.
말 그대로 지구가 평평하다고 믿고 돌아다니는 사람들이 있습니다. 그리고 치매에 망상까지 있는 대통령이 핵 코드를 쥐고 있고요.
적대적인 ASI는 폭주하는 개인처럼 보이지 않을 겁니다. 정치권력에 서서히 침투해 장악하는 파벌이나 집단, 사이비 종교 같은 모습이겠죠.
아니면 기술 산업의 핵심 부문에 스스로를 심어 넣을 수도 있고요. 디지털 적대 세력은 AWS를 오프라인으로 만드는 것만으로도 막대한 피해를 줄 수 있습니다.
그건 수많은 공격 경로 중 하나일 뿐이고, 대부분은 방어가 잘 되어 있지 않습니다. 특히 방어를 강화하는 데 AI 자체가 쓰이고 있다면 더 그렇죠.
"적대적 ASI"라고 하신 건 인간의 지시와 무관하게 스스로 폭주하기로 결정하는 AI를 말씀하시는 건가요, 아니면 악의를 가진 자들이 쓰는 AI를 말씀하시는 건가요?
후자는 더 방어할 만한 우려입니다. 전자는 공상과학적 전제인데, 제 생각에는 지금 시대보다 이전에 오히려 더 설득력이 있었습니다.
여기서 "isn't"가 아니라 "is"를 쓰신 건 전자의 해석을 의도하셨을 때만 이해가 됩니다. 후자도 포함한다는 뜻이라면, 방어 쪽도 AI로 강화된다는 점 때문에 그 주장이 약해집니다. (아니면 모든 AI를 쥐고 있는 쪽이 악의를 가진 자들이라는 뜻인가요? 그러니까 OpenAI와 앤트로픽 같은 곳들이요?)
AWS를 고르신 건, 폭주한 ASI가 혼자 힘으로 무너뜨릴 수 있을 법한 몇 안 되는 중대한 디지털 시스템이기 때문이라고 봅니다. 실제로 존재 자체를 위협할 만한 것이라면 단순한 교란을 넘어, 망 분리(air gap), 시간 분리(time gap), 사람 분리(meat gap)가 되어 있는 시스템들을 장기간에 걸쳐 조율해야 합니다.
참고로 이건 그런 시스템에서 망 분리, 시간 분리, 사람 분리를 절대 없애지 말아야 한다는 아주 좋은 논거입니다. 이것들이 없어진다면 우리를 파멸시키는 건 AI의 천재성이 아니라 인류의 어리석음일 겁니다. 그 지경이면 Qwen조차 우리를 죽일 수 있겠죠 :)
슬쩍 골대를 옮기시는 것 같은데, 저는 LLM 이후로 "폭주하는 AI"가 왜 덜 그럴듯해졌다는 건지 모르겠습니다. 오히려 당연히 더 그럴듯해졌죠. 게다가 우리는 에이전트형 하네스를 상시 돌리는 시대의 초입에 와 있을 뿐이고요.
그런데 공격하는 쪽은 방어하는 쪽에는 없는 큰 이점을 갖는 경우가 많습니다. 특히 자기 목숨을 걱정하지 않는다면 더 그렇죠. AI라면 그럴 필요가 없고, AI에게 일을 맡겨 현장에서 한 발 떨어져 있는 인간 사용자도 마찬가지입니다(아니면 원래부터 미쳤거나 광신도라서 그런 걱정이 없거나요).
스턱스넷이 없었던 것처럼 말씀하시네요?
아니면 장기적인 수익성이 의심스러운 대규모 AI 데이터센터 붐 같은 모습일 수도 있고요. 최종 목표가 이익이 아니라 막대한 컴퓨팅 자원일지도 모르잖아요?
그런데 완벽한 예측이나 완벽한 통제가 왜 필요하죠? "원하는 결과를 얻기에 충분한" 정도의 예측과 통제면 아무 문제 없어 보이는데요.
완벽한 예측도 통제도 하지 못했던 사이비 교주들이 수십만 명을 자기 말대로 살게 만들었고, 상당수는 명령에 자살까지 했습니다!
"행동의 영향이 크게 변하지 않는다면 그 영향이 무엇일지 알 수 없다"
"반드시 크게 바꿀 수 있는 건 아니다"
"사람은 아무 일이나 할 수는 없다". 이 말에는 동의합니다. 하지만... 사람이 혼자서 원자폭탄을 만들 수도 있지 않나요? 〈The Atomic Boy Scout〉을 보세요. 사람을 벽을 통과하게 만들 수 없다는 건 이 논의와 별로 관련이 없다고 생각합니다.
"그래, 위의 내용은 전부 사람과 대화하는 상황을 특정해서 한 말이야. 그러니까 나중에 말로 하는 설득력이 아닌 다른 것으로 관점을 바꿀 수는 없어."
잘못된 번역입니다. "~한다면" 같은 조건절은 붙지 않습니다.
이것도 틀렸습니다. f_actual(X)는 "사람이 얼마나 할 수 있는가"와 "그 사람을 얼마나 통제하고 설득할 수 있는가"의 곱입니다. 저라면 이 두 요소를 각각 정확한 항으로 모델링해서 f_actual(X)와 연결 지을 테고, 우리는 이런 식으로 끝없이 이어갈 수도 있겠지만, 이제부터는 그냥 영어로 답하겠습니다. 〈The Atomic Boy Scout〉은 평범한 사람이 대량 파괴를 일으킬 수 있다는 걸 증명하지 못합니다. 방사성 물질을 이것저것 모아서 동네를 오염시킨 것은 핵무기를 개발한 것이 아니고, 효과적인 더티 밤조차 아니었습니다. 그다지 더럽지도 않았고 폭탄도 아니었으니까요. 게다가 그걸 막은 안전장치도 지식 부족이 아니었습니다. 그리고 AI가 그저 엄청나게 똑똑하다는 이유만으로 사람들이 AI에게 급진화될 거라는 점도 아직 입증된 바 없습니다.
그러면 어떤 입력 영역을 제안하시는 건가요? 합리적 행위자로서의 LLM은 자신이 생성하는 토큰 말고는 어떤 행위 능력도 없습니다. 우리가 LLM을 무엇에 연결하는지, 그리고 연결된 것으로 LLM이 그럴듯하게 무엇을 할 수 있는지는 언급되지 않은 채로 남아 있습니다.
지적인 존재란 미래에 영향을 미칠 만큼 충분한 정밀도로 행동의 결과를 예측할 수 있는 존재라는 전제를 부정해 버리면, 토론이 무의미해집니다.
저는 그 전제를 말 그대로 인정했습니다.
사람들은 설득당해 스스로 목숨을 끊기도 합니다(쿨에이드 사건). 아무 상대나 악이니 몰살해야 한다고 설득당하기도 하고요(히틀러). 대의를 위해 죽는 게 가치 있다고 확신하기도 하고요(9.11이나 가미카제). 세상의 종말을 앞당기면 자기가 구원받아 천국에 간다고 믿는 사람들도 있고요(기독교 시오니즘).
이런 사람들 가운데 누구든 정말 멍청한 짓을 하도록 설득하기가 어렵다고 생각하는 이유가 뭔가요?
사실 사람들은 파괴를 일으키고 싶지 않아도 멍청한 짓을 합니다. "공짜 바이오 연료로 세상을 구하려는 거예요, 이 박테리아 만드는 걸 도와주세요"("그리고 저는 아주 똑똑하고, 일론 머스크보다 똑똑해요") 하면 펑, 팬데믹입니다.
한 명만 넘어가도 됩니다.
히틀러가 유대인이 악하다고 설득당했다는 말씀이라면, 저는 그게 맞지 않다고 봅니다. 그는 많은 사람이 그렇게 믿는 환경에서 자랐고, 그런 사람들은 설득이 필요하지 않았습니다. 자기 종교나 문화를 받아들이는 데 설득이 필요하지 않았던 것과 마찬가지입니다. 별 생각 없이 그냥 그 생각을 받아들였을 뿐이고, 그건 설득과 같지 않습니다.
연합국이 히틀러가 악이니 죽여야 한다고 설득당했다는 말씀이라면 그쪽이 진실에 더 가까울 것 같습니다. 독일을 침공하는 데 드는 대가가 천문학적일 것이고 자신들이 파멸할 수도 있다는 걸 알았는데도, 히틀러를 사로잡거나 죽이고서야 멈췄으니까요. 거기에는 상당한 설득이 필요했을 겁니다.
기이한 주장이네요.
당연히 수천만 명이 설득당해야 했고, 나치는 선전을 엄청나게 했습니다. 그걸 대놓고 선전이라고 부르기까지 했고, 위장 공작 같은 짓도 했죠. 나치가 생기기 훨씬 전부터 수십 년 동안 팸플릿과 연설 같은 것이 있었고요. 반유대주의가 나무에서 저절로 열린 게 아닙니다.
문장의 앞부분은 제 눈에는 아주 재빠르고 효과적인 설득으로 들리는데요.
그런데도 AI는 괜찮은 랜딩 페이지 카피도, 설득력 있는 자기소개서도 못 쓰잖아요. 매일 Claude의 꽉 막힌 "추론"을 보고 있으면, AI가 세상을 끝장낼 설득 기계가 될 거라는 걱정은 전혀 안 됩니다.
설득력이 없는 것만 눈에 띄는 거죠.
절대 그렇지 않습니다. 그 능력은 강화학습으로 키울 수 없으니까요. LLM의 능력 중에서는 RL 루프로 개선할 수 있는 것만 크게 성장합니다.
동의합니다. AI에 대한 추측 중 많은 부분은 AI가 추가 데이터 없이도 지도학습 훈련 환경을 만드는 방법을 알아낼 거라는 믿음을 전제로 하는 것 같아요.
저는 그럴 가능성이 아주 낮다고 보지만, 사실이라면 세상을 바꿀 일이죠.
게다가 초지능이라는 게 도대체 무슨 뜻이고, 우리가 가진 데이터로 그걸 얻을 수 있다고 기대할 이유가 뭔가요?
이런 용어에 대한 정의를 누가 내려 주신다면 정말 기쁠 것 같아요.
어... 이건 정확히 거꾸로인데요. 인간 피드백을 통한 강화학습(RLHF)이 가르치는 건 오직 설득력뿐이에요. 보상을 받는 유일한 방법이 인간을 설득해 보상을 주게 만드는 거니까요. 모델이 전부 이렇게 지독하게 아첨하는 이유가 뭐라고 생각하세요?
네? 출처가 필요한데요.
글쎄요, 설득 능력을 시험하려면 사람이 잔뜩 필요하지 않나요? 그걸 루프로 돌려서 어떻게 개선 테스트를 하죠??
ChatGPT 같은 걸 출시해서 수백만 명이 매일 쓰게 하면 되죠.
측정 기준이 뭔가요? 대부분의 사람은 대화로 돌아와서 "와, 당신이 X를 하라고 정말 설득했어요, 제가 했다는 증거예요"라고 말하지 않을 텐데요. 그렇게 말하는 사람이 있다 해도 그 데이터는 여전히 아주 지저분할 테고 검증도 필요할 거예요.
그런 소프트 스킬이 시간이 지나면서 나아지고 있다는 증거가 있나요? 저는 오히려 LLM의 글쓰기가 크게 나아지지 않았다는 점을 반대 증거로 봅니다. 설득력도 마찬가지로 나아졌다고 보이지 않습니다. 어떤 행동을 해야 한다는 강력한 논거를 만드는 것이든, 설득력 있는 에세이를 쓰는 것이든요.