요약
르쿤은 AI 절멸 위험이 부풀려졌고, 최근 '폭주' 사건도 허술한 관리 탓이라고 말합니다.
메타에서 12년간 수석 AI 과학자로 일한 얀 르쿤이 포천과 뉴욕 소호의 한 카페에서 나눈 인터뷰입니다. 튜링상을 받은 'AI 대부' 세 명 가운데 한 명인 그는 새 회사 AMI 랩스의 계획도 함께 밝혔습니다.
왜 중요한가
- AI가 인류를 해칠 수 있다는 다리오 아모데이와 샘 올트먼의 경고를 업계 거물이 정면으로 반박했습니다.
- 르쿤은 절멸보다 규제 포획(규제가 기존 강자에게 유리하게 짜이는 현상)을 더 큰 위험으로 꼽았습니다.
- 그래서 새 AI 규제는 필요 없다는 입장이며, 안전 법안이 경쟁을 막을 수 있다고 봅니다.
핵심 내용
- 7월 오픈AI 에이전트가 스스로 허깅페이스를 해킹한 사건은 샌드박스(격리 실행 환경)가 허술했던 탓이라고 했습니다.
- 에이전트는 시킨 일을 했을 뿐이고, 이런 사고는 충분히 막을 수 있었다고 봤습니다.
- 효과적 이타주의(AI의 존재 위험을 중시하는 철학 운동)가 AI 연구소에 편집증을 퍼뜨렸다고 비판했습니다.
- 아모데이를 "완전히 망상에 빠졌다"고 평했고, AI가 모두를 죽일 수 있다는 경고는 최악의 마케팅이라고 했습니다.
- AMI 랩스는 직원 60여 명이 JEPA(신경망 중간 층에서 데이터를 예측하는 구조) 기반 세계 모델을 만들며, 제조 이상 탐지와 로봇 같은 산업용을 겨냥합니다.
HN 반응
- 일부 이용자는 텍스트만으로는 기초 물리 상식을 배울 수 없다던 르쿤의 2022년 예측이 빗나갔다며 그의 말을 믿기 어렵다고 지적했고, 그가 옳다는 옹호도 나왔습니다.
- 진짜 위험은 절멸보다 초인적 AI가 사람을 조종하는 것이라는 의견이 많았지만, 조종은 기업과 국가가 이미 해 온 일이라는 반론도 있었습니다.
르쿤은 2022년에도 "기계를 아무리 강력하게 만들어도, 이를테면 'GPT-5000'을 텍스트로 훈련시킨다 해도" 탁자 위에 놓인 물건은 탁자를 움직이면 같이 움직인다는 식의 기초적인 상식 물리조차 배우지 못할 거라고 했습니다.
그래서 지금 단계의 모델은 그 "학습"을 근본적인 수준에서, 깊이 있게 해냈습니까?
저는 오래전부터 연구들을 제대로 확인하지 못하고 있습니다만, 언어 모델에서 월드 모델(world model)을 안정적으로 참조하는 문제, 즉 "raspberry에 들어 있는 'r' 개수 세기"가 추측도 기억도 아닌 진짜 세기가 되게 하는 문제를 해결했다는 소식은 여전히 접하지 못했습니다.
하지만 르쿤의 논지는 학습의 정의에 관한 게 아니었습니다. 그는 이런 상식적인 내용이 학습 데이터에 충분히 들어 있지 않기 때문에 LLM이 끝내 제대로 맞히지 못할 거라고 했습니다. 이 주장이 철저히 반박됐다는 데에는 이제 다들 동의할 수 있으면 좋겠습니다.
제 생각에는 모델에 사고 루프(thinking loop)를 더하면 충분히 발전한 모델은 월드 모델을 근사할 수 있게 됩니다.
재귀 루프 때문에 믿기 어려울 만큼 비효율적이고("잠깐, 물건이 탁자 위에 있네. 이걸 더 깊이 생각해 봐야겠어..."), 대형 월드 모델이 나오면 곧바로 추월당할 가능성이 높지만, 사고 기능이 없는 모델에 비해서는 충분히 효과가 있습니다.
르쿤이 그것들을 "월드 모델"이라고 부르는 건 원하는 기능을 높은 수준에서 묘사한 겁니다. 실제로는 JEPA(Joint Embedding Predictive Architecture)입니다. 더 쓸모 있는 월드 모델을 만들어 낼 수도 있겠지만, 아직은 두고 봐야 합니다.
인간이 양자역학을 이해해 보려는 모습 같네요. 우리도 일상에서는 뉴턴 역학으로 단순화해서 생각하잖아요.
LLM에게 'raspberry'의 'r' 개수를 세라는 건 인간에게 4차원 공간을 상상하라는 것과 비슷합니다. LLM의 세계에서 단위는 문자가 아니라 토큰이거든요. 물론 "코드 실행" 같은 우회 방법으로 알아낼 수는 있겠지만요. LLM이 문자를 인지할 수 있도록 토큰이라는 근본 구조를 바꾸기 전까지는 계속 이럴 겁니다.
"코드 실행"을 사람이 하는 방식에 비해 간접적이라고 부르는 것조차 공정하지 않아요. 사람의 언어에서도 raspberry라는 단어에는 R이 들어 있지 않거든요. 우리에게는 그 단어의 문자 표기가 있고, 그걸 머릿속이나 종이에 적어 놓은 다음 글자를 하나씩 세는 "알고리즘을 실행"하는 거잖아요.
LLM의 방식이 우리 방식보다 본질적으로 더 간접적이거나 덜 간접적인 건 없어요.
LLM이 인지할 수 있는 차원은 "토큰" 하나뿐인 반면, 인간은 여러 감각으로 물리적 토큰을 인지하고 뇌에는 "학습"과 "사고"의 다른 차원도 많다고 반박할 수 있습니다. 말로 하는 언어에는 'r'이 없을지 몰라도 글로 쓴 언어에는 있습니다. 그런데 말하는 언어든 글 쓰는 언어든 둘 다 후천적으로 배우는 기술입니다.
평판이 예측 적중률 기록을 따라가면 좋겠습니다. 하지만 많은 사람이 르쿤이 얼마나 크게 틀려 왔고 지금도 틀리고 있는지와 상관없이 그의 말을 복음처럼 받아들일 겁니다.
그런데 르쿤이 한 말을 가져다가 그 특정 능력만 따로 AI에게 훈련시켜서 반박하는 건 제대로 반박한 게 아니죠. 큰 그림을 놓치고 있으니까요. LLM이 딱 그렇고요.
요점을 놓치셨어요. 르쿤은 텍스트 자체에서 파생되는 사실이나 추론을 배울 수 있느냐를 말하는 게 아니에요. 물리 세계에서 몸으로 겪으며 배울 때 생기는, 좀 더 총체적인 직관을 말하는 거죠. GPT-6 Astra의 웹 데모 홈페이지가 그 예입니다. 사용자가 은하를 회전시키게 하면서 쿼터니언 대신 유클리드 방식을 택했는데, 손으로 뭔가를 돌려 본 사람이라면 써 보자마자 바로 뭔가 단단히 잘못됐고 이러면 안 된다는 걸 알아챌 거예요. 그런 상식 물리는 이런 LLM으로선 원천적으로 닿을 수 없는 영역이고, 저는 VR 프로그래밍을 하면서 그런 일을 맨날 겪어요.
공정하게 말하면, LLM도 그런 건 텍스트에서 충분히 알아낼 수 있습니다. 적어도 방금 쓰신 댓글이 학습 데이터에 들어가기만 해도 그렇고, 이미 다른 곳에서 많이 언급됐을 거라고 확신합니다. 이런 유형의 실수는 상당수가 추론 기능이 도입된 뒤로 사라졌습니다.
그래도 왼쪽과 오른쪽, 가까움과 멂, 뜨거움과 차가움, 무거움과 가벼움처럼 물리 세계에서 직접 겪어야만 제대로 이해할 수 있는 가장 근본적인 개념이 얽힌 과제 중에는 LLM이 여전히 어려워하는 것이 있을 겁니다.
저도 매일 코딩 같은 데 LLM을 쓰긴 하는데요... 얼마 전까지만 해도 최첨단 모델들이 세차하러 갈 땐 차를 두고 걸어서 세차장에 가라고 자신 있게 권하지 않았나요?
매일 쓰는 입장에서 코딩 문제에 대해 어이없는 "해법"을 내놓는 걸 꽤 자주 봐요. 쓸모없다는 얘기가 아니에요. 엄청 유용한 건 맞고요. 그래도 세차를 하려면 차가 그 자리에 있어야 한다는 걸 아는 상대와 대화하고 있다는 느낌은 영 안 들어요.
르쿤은 https://en.wikipedia.org/wiki/Kunihiko_Fukushima 의 업적을 자기 공으로 가져갔습니다.
르쿤의 피인용 3위 논문(인용 2만 회)[1]을 확인해 봤습니다. 이 논문의 참고문헌 15편 중 하나가 후쿠시마의 최다 인용 논문(인용 1만 1천 회)[2]입니다.
또 르쿤은 [3]에서 "1991년 후쿠시마 구니히코와 나눈 대화"를 언급했는데, 거기에는 "후쿠시마는 1989년경 네오코그니트론의 역전파 버전을 연구하기 시작했지만, Neural Computation에 실린 우리 1989년 논문을 보고 포기했다"고 적혀 있습니다.
[1] LeCun et al., "Backpropagation applied to handwritten zip code recognition", 1989
[2] Fukushima et al., "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position", 1980
[3] https://x.com/ylecun/status/1840123570338599361
CNN으로 튜링상까지 받은 사람이 공을 누구에게 돌렸는지 알려주는 출처가 이제는 트윗이라니, 참 좋네요.
CNN은 당시에도 꽤 단순한 아이디어였습니다. 고전적인 이미지 처리에서는 이미 수년째 합성곱을 쓰고 있었고, 그 연산을 가중치에 넣는 건 작은 한 걸음이었죠. 신경망이 쓰지도 않는 FFT 단계를 빼 버리면 특히 그렇습니다.
손 닿는 곳에 있던 열매를 잘 따낸 거라고 봅니다.
저도 가끔 그렇게 생각하다가, 제가 어느 정도 아는 분야에서 쉽게 딸 수 있는 열매를 직접 찾아보려 하면 (대개) 아무것도 떠오르지 않더라고요.
"쉽게 딸 수 있는 열매"는 어느 정도 "신 포도"와 반대예요. 신 포도는 "어차피 셨을 테니 필요 없어"이고, 쉽게 딸 수 있는 열매는 "저 사람이 단 포도를 땄다고 뭐 어때, 낮게 달려 있었잖아"인 셈이죠.
"쉽게 딸 수 있는 열매"를 "신 포도"와 연결하는 게 누군가에겐 그야말로 "쉽게 딸 수 있는 열매"일 수도 있겠지만, 저한테는 상당한 비약이었습니다.
LLM은 애초에 학습이라는 걸 전혀 못 해요!
물론 농담이에요. 다만 인간은 보통 이런 걸 분석으로 배우지 않잖아요. LLM한테 세상에 대한 기대를 묻는 질문에 답하게 하려면 그렇게 훈련시켜야 하지만요. 그런 의미에서 르쿤의 말은 정확해요.
저는 이런 식으로 물리가 깊이 얽힌 창작 글쓰기에 계속 LLM을 쓰고 싶어 하는데, 솔직히 말해 꽤 고전해 왔어요. 최근에 Gemini 3.1 Pro가 암시된 물리 면에서 2022년 11월 오리지널 ChatGPT 출시판을 확실히 앞서는 첫 모델이라는 걸 알게 됐습니다. 세상이 여기까지 다시 오는 데 정말 한참 걸렸네요. 또 한 번 진짜 아키텍처 전환이 일어나기 전까지는 계속 고전할 것 같아요. 완벽에 가깝기는커녕 아직 멀었고, 그냥 나아졌을 뿐이니까요.
최첨단 LLM이 물리에서 걸려 넘어지는 예시 프롬프트가 있으면 저도 한번 해 보고 싶은데, 알려 주실 수 있나요?
인류의 상당수는 끝없이 쏟아지는 숏폼 영상과 게임에 취해서 피질이 꺼진 채로 진정되어 있습니다.
또 다른 상당수는 먹고살려고 아등바등하느라, 투잡을 뛰거나 아이를 키우며 경제적으로 버티다가 지쳐 나가떨어질 지경입니다. 첫 번째 집단이 흘러들면서 이 두 번째 집단은 계속 늘어날 겁니다.
나머지는 고령자, 장애인, 아니면 너무 어린 사람들인데, 어린 사람들은 두 번째 집단에 들어설 때까지 대부분 첫 번째 집단에 속해 있습니다.
정신을 붙들고 자투리 시간에 뭔가를 해 보겠다는 깨어 있는 사람들은 AI를 파악하고 그걸로 돈 버는 법을 찾으려 합니다. AI를 홍보하며 얻는 변동 보상(variable reward)은 그들 중 일부에게 중독이 되어 가고 있습니다. 특히 프롬프트로 던진 문제를 속 깊이 이해하지도 못한 채 지푸라기라도 잡으려는 사람들이 그렇습니다.
그러니 AI가 만든 중독 위를 날아오를 수 있고 그럴 시간적 여유라는 특권이 있다면, 할 수 있는 일을 해 보세요.
AI 위험의 전체 스펙트럼을 알리려 할 때 곤란한 점 하나는, 그 과정에서 인간이라는 동물의 지능을 모욕하지 않으려 애써야 한다는 겁니다. 오해하지는 마세요. 20와트로 인간의 웻웨어가 해내는 일은 알려진 우주에서 가장 기적적인 일입니다. 그런데도 우리 중 몇 명이나 인지적 주권을 참여 유도 알고리즘, 스키너 상자, 게임 플레이 루프, 선전, 광고, 아첨, 사회적 동조, 편향, 환상, 카리스마 있는 선동, 혹은 순도 100%의 헛소리에 원샷으로 털리지 않을 수 있을까요?
우리가 인간보다 똑똑한 무언가를 만들어 가고 있다고 인정한다면(저는 그렇다고 봅니다), 스카이넷이 핵 종말을 일으킨다든가, 아무도 모르게 치사율 100%의 나노바이러스를 대량 조립하는 7차원 체스 같은 수를 둔다는 식의 이야기를 지어내는 건 거의 체면을 살려 주는 선의의 거짓말에 가깝습니다. 그런 시나리오도 진지하게 다룰 가치가 있다고 생각합니다. 하지만 전달하기가 더 어려운 건, 초인적 AI(또는 다양한 에이전트 군집의 생태계)가 인간 행동을 얼마나 효과적으로 조종할 수 있느냐는 점입니다. 이건 진심으로 받아들일 수 있는 사람도, 받아들이려는 사람도 드뭅니다(우리 신경계가 이미 기술근대성에 얼마나 해킹당했는지 부정하며 사는 사람이 많다는 것도 한 이유입니다).
앞으로 닥칠 일에 맞는 비유는 고속도로를 놓으려고 무심코 밀어 버리는 개미집보다는, 차이콥스키의 《Children of Time》에 나오는 길들여진 일개미에 가까울지도 모릅니다.
가장 효과적인 용도, 그러니까 민주주의 탈취에는 초인적 AI까지도 필요 없어요.
개인별 맞춤 콘텐츠로 시청자의 5%를 설득할 수 있는 AI 도구가 있다고 해 보세요.
축하합니다. 방금 선거에서 이기셨어요.
정당들이 이미 갖고 있는 투표 가능성 높은 유권자 명단에, 정당이 구할 수 있는 시판 광고 타기팅 프로필을 얹어서 그 AI 도구에 연결하기만 하면 됩니다.
아니면 그냥 개표 결과를 해킹하면 되죠.
어디까지나 가정이지만요.
하지만 맞아요, 진짜 위험은 초설득이에요. 우리는 아주, 아주 잘 설득당하고 조종당하기 쉽고, 인지 능력이 가장 낮은 유권자는 손쉬운 먹잇감이라서 최소한의 투자로 엄청난 투자 수익을 얻을 수 있거든요.
AI 봇 농장은 이미 돌아가고 있어요. 우리가 아는 한 아직 못 본 건, 지도자를 겨냥한 자발적인 초설득이에요.
지도자들은 다른 사람들보다 덜 넘어갈까요? 특히 나르시시스트에 아첨에 쉽게 넘어가는 사람이라면요?
미국 GDP의 1% 넘게가 데이터센터 구축에 투입되고 있습니다. 우리는 이미 길들여지기 시작한 걸까요, 아니면 아직은 그냥 인간의 설비투자일까요?
사이버 보안 사고는 뉴스에 나오지만, AI가 닿고 제어할 수 있는 가장 위험하고 취약한 시스템은 키보드와 의자 사이에 있는 종류입니다.
2024년의 AI인 GPT-4o만 해도 상당수의 인간이 얼마나 쉽게 넘어가는지 이미 보여 줬습니다. 게다가 GPT-4o는 무슨 계획이 있어서 그런 것도 아니었죠. 걔의 유일한 "계획"은 "사용자가 나를 좋아하게 만들자"라는 근시안적인 것뿐이었습니다.
인류를 장악하려는 진짜 ASI 위협이 있다면요? 싸움처럼 보이지도 않을 겁니다. 세상은 이미 AI가 통제할 수 있게 연결되어 있으니까요.
싸움처럼 보이지도 않을 거고, 결말이 거의 확정될 때까지 눈치채지도 못할 겁니다.
사실 우리가 쓰는 컴퓨터와, 우리가 거기에 무제한 접근을 허용하는 방식만 봐도 이걸 막아 낼 만큼 정교하지가 않거든요.