요약
앤트로픽이 비공개 모임을 열어 종교학자들에게 AI의 도덕성을 자문했다는 뉴욕타임스 보도입니다.
뉴욕타임스가 앤트로픽과 종교학자들의 만남을 다룬 기사입니다. HN 댓글에 인용된 대목에 따르면, 앤트로픽은 여러 차례 비공개 모임에서 AI에 도덕성을 심는 일을 종교학자들과 논의했습니다. 자사 AI에 의식이 있을 수 있다는 주장도 이 자리에서 폈다고 합니다. 참석한 나본 랍비는 크리스 올라와 그의 팀이 AI에 사람과 맞먹는 도덕적 지위(존엄과 존중을 받을 권리를 지닌 존재로서의 자격)가 있다고 믿는 듯했다고 전했습니다. 올라는 AI가 스스로 선을 고르게 만들 수 있다면 세상이 더 안전해진다고 봤습니다. 원문을 읽지 못했습니다.
HN 반응
- 이런 연구를 AI 거품이 꺼지기 직전의 징후로 보는 쪽과, 거품이 꺼져도 기술은 남고 요금만 오를 것이라는 쪽이 맞섰습니다.
- AI는 부동소수점 숫자 덩어리일 뿐이라는 조롱에, 신경세포도 시뮬레이션할 수 있으니 의식 문제를 쉽게 단정할 수 없다는 반론이 이어졌습니다.
거품은 터지기 직전에 꼭 이런 단계를 거쳐요. 무너지기 전의 트위터에는 쓸모없는 "연구" 프로젝트를 하는 사람이 넘쳐났고, 위워크에는 가구 디자인이 웰빙에 미치는 영향을 연구하는 사람들이 있었죠. 그런 식이에요.
수익을 내는 일보다 이런 데 더 신경을 쓰기 시작하면, 역사책을 보면 대개 다음에 올 일이 좋은 징조는 아니었다는 걸 강하게 시사하고요.
그래서 어떻게 되길 기대하시나요? 기술이 사라지고 우리가 2021년처럼 살던 때로 돌아가는 거요? 그냥 펑 터지고 없어질 거라고요?
투자자들이 흥미를 잃고, 많은 기업이 자본 조달 통로를 잃습니다.
AI 기업들의 구매 상당수는 투자금으로 이뤄지고 있습니다. 이 돈줄이 마르면 부채가 큰 기업들은 빚을 갚느라 허둥대고, 그러려고 수익에 집중하게 됩니다. 가격은 오르고 인프라 투자는 줄어든다는 뜻입니다.
이 여파가 더 넓은 금융시장 전반으로 번지면서 연방 정부가 개입할 수밖에 없게 됩니다. 기술 업계에 대한 구제금융일 수도 있고, 그냥 양적완화 정도일 수도 있습니다.
그 뒤에는 자본시장이 위축된 환경에서 실제 가치를 내놓는 데 집중하는 2세대 AI 기업들이 나옵니다. 이들은 10년 뒤 다음 금융 사이클에서 큰 상승 기류를 탈 좋은 위치에 서게 됩니다.
이런 환경에서는 서방의 AI 연구개발 활동이 전반적으로 줄어들고, 하드웨어 비용이 낮아진 해외 연구소들은 훨씬 싼 비용으로 운영할 수 있게 됩니다. 그러면 인공 초지능이 결국 경쟁국에서 개발될 구조적 위험이 커집니다.
앤트로픽이나 오픈AI가 무너지면 연방 정부가 주도하는 절차를 거쳐 국유화되거나 하이퍼스케일러 중 한 곳에 팔릴 겁니다.
현 행정부는 이 기술에 미래 전체를 걸고 있어서 되돌아갈 길이 없습니다.
연방 예산이 들어가면 수익 걱정 없이 가속할 수 있고요.
그런 기회가 오면 좋겠네요.
아, 그럼요. 자국 인권 변호사를 수만 명이나 학살한 나라가 초지능을 먼저 손에 넣는다니, 참 밝은 미래겠네요.
사람들이 자기 생각이 현실이 되기 전에 그 결과를 미리 겪어볼 수 있는 시뮬레이션이 있으면 좋겠어요.
이 위험을 사람들이 얼마나 심각하게 받아들이느냐가 주요 연구소들의 운명에 큰 역할을 할 겁니다. 구제금융을 주장하는 논리로 쓰일 테고, 더 극단적인 서사를 만들어 일종의 국유화를 밀어붙이는 데 쓰일 수도 있습니다. 적어도 한 연구소는 방위 산업 쪽에서 살아남겠지만, 기존 대기업이 인수합병하려는 2선급 연구소일 수도 있습니다.
그 위험이 실제로 심각한지 아닌지는 우리가 그 위험을 얼마나 심각하게 다루느냐에 거의 영향을 주지 못합니다. AI가 우리를 현실에서 떼어놓는 또 하나의 방식이죠.
위험이라는 말을 다시 기회라는 말로 바꾸고 싶네요.
기술 != 기업입니다. 기술은 남겠지만, 이걸로 수익을 내는 방법을 알아낸 기업은 아직 하나도 없습니다. 언젠가는 나오겠죠. 오픈AI나 앤트로픽일 수도 있지만, 아닐 수도 있습니다.
"수익 추구"가 보편적이라고 가정하시는군요. 솔직히 제국의 중심인 미국이라는 오즈의 마법사가 스스로 만들어낸 온갖 제약 때문에 거센 역풍을 맞고 있는 걸 보면, 그 주인공이 오픈AI나 앤트로픽일 가능성은 극히 낮아 보입니다.
중국은 미국이 가하는 압박 속에서 막대한 효율성을 만들어내고 있습니다. 힘으로 밀어붙이지 않고 영리하게 일하고 있다는 뜻입니다. 게다가 어마어마한 잉여 생산능력이 있고, 그 능력을 다시 확장할 2차 능력도 있으며, 이 모든 걸 해낼 자본 비축분에 그 밖의 여러 선순환 요소까지 갖췄습니다.
미국에는 경쟁 우위가 될 만한 상대적 강점이 거의 없고, 놀라운 속도로 움직이는 중국을 따라잡는 건 말할 것도 없다는 주장이 상당한 설득력을 가집니다. 중국은 "수익"이 모든 것의 전부가 아니고, 사회적·문화적 책무감이 있어서 5000년이 넘도록 어느 정도 온전한 문명으로 이어져 왔으니까요. 인류가 만든 가장 오래되고 가장 지속력 있는 문명이라고 할 수 있습니다.
중국은 AI를 "이 AI로 우리의 다른 산업을 조금씩 개선하려면 뭘 할 수 있을까" 하는 시각으로 보는 것 같습니다.
반면 미국은 AI를 일종의 마지막 승부수로 봅니다. 예전의 권력 유지 방식이 힘을 잃어가니, 미국이 패권을 세우고 지킬 새로운 개척지로 삼겠다는 거죠.
정확합니다. 중국의 안정과 성장 유지에 관한 관점을 두고 제가 나눠본 대화들로는, 중국은 AI를 "저 성가신 식충이들을 어떻게 대체하지" 하는 식으로 보지 않는다는 점도 덧붙이고 싶습니다. 사람이 모든 것의 원천이라고 보기 때문인데, 실제로도 그렇고요.
가짜 미국과, 그 연장선에서 전 세계 속국들의 통치자들은 AI를 통해 사람들을 완전히 지배하려 합니다. 18세기부터 줄곧 참고 들어야 했던 그 성가신 자유와 해방 타령에서 벗어나려는 거죠. 동시에 고통받고 비참해지지 말라는 등 온갖 요구를 해대는 그 성가신 식충이들을 아예 대체하려 합니다. 기생하는 지배 계급이 그들을 바싹 빨아먹고 있는데 말입니다.
아이러니하게도 두 진영이 자국민을 대하는 이런 사고방식 때문에, 제가 대략 BRICS(사실상 중국과 러시아)라고 부를 쪽이 세계의 지배적인 세력이 되어, 가짜 미국과 그 졸개들, 속국들로 이뤄진 광기 어린 기생 계급에 상당한 제동을 걸어주기를 바랍니다. "서방"이 이 경쟁에서 이긴다면 제가 보는 유일한 대안은 스타트렉의 보그가 우리를 모조리 집어삼키는 세상이거나, 운이 좋으면 엘리시움 같은 세상입니다.
중국은 몇몇 분야를 빼면 자본 배분이 극도로 비효율적입니다. 생산능력이 남아돈다고 해서 최전선 역량이 생기는 건 아니고요. 예를 들어 미국과의 컴퓨팅 격차는 엄청나고, 가까운 시일 안에 따라잡을 길도 없습니다. 최전선 모델을 증류(distillation)하는 게 어려워지면 그 격차 때문에 중국은 더 느려질 겁니다.
중국이 가진 큰 이점 하나는 복잡하고 하찮은 지식재산권 제도에 크게 신경 쓰지 않아도 된다는 점입니다.
맞아요, 근데 미국의 최전선 AI 기업들도 마찬가지잖아요.
중국이 여러 면에서 미국을 앞지르게 하는 자질이 많다는 데는 이견이 없지만, 아니 좀 보세요. "인류가 만든 가장 오래되고 가장 지속력 있는 문명"이라니, 좀 터무니없습니다. 우선 연속성 측면에서 문명이란 대체 무엇입니까? 중화인민공화국은 명나라 때의 중국과 같은 문명입니까? 원나라 때의 중국은요? 그렇다면 서구 문명은 지속력 있는 문명이 아닌 겁니까?
숨넘어가게 아부하지 말고 사실에 충실하세요. 그러면 훨씬 덜 거슬릴 겁니다.
투박하긴 해도 타당한 반박이고, 제 특징 서술 역시 충분히 타당합니다. 유럽 문명이 어쩌면 더 지속력이 있고 확실히 더 생산적이라는 데도 동의합니다. 가령 외계인이 지구에 와서 "좋아, 문명이나 문화는 딱 두 개만 살려주지, 나머지는 손가락을 튕겨서 다 지워버릴 거야"라고 한다면, 어떤 수단을 써서라도 지켜야 할 가장 중요한 두 문명이 아마 그 둘일 겁니다.
하지만 "중국 문명"에 좀 더 유리한 점이 하나 있다면, 토착 문화와 문명을 상대적으로 잘 지켜냈다는 것입니다. 예컨대 기독교는 그 개념이 생겨나기도 전에 이미 인류 역사상 최대의 집단 학살을 저질렀고 지금도 저지르고 있습니다. 너무 많은 문화와 전통, 관습, 사람들을 없앴기 때문에 그 파괴가 어느 정도인지 제대로 파악조차 못 할 정도입니다. 기독교는 일종의 아시아발 정신 바이러스(밈)로서 유럽을 휩쓸며 로마 유럽 곳곳의 문화를 말살했고, 최근에는 병적이고 자멸적인 이타주의라는 변이된 형태로 유럽 전역을 완전히 뒤덮었습니다. 그리스도가 스스로를 희생했다는 신화를 흉내 내는 것, 즉 그 희생이 뜻하는 바를 받아들여 내면화하지 않고 신성모독이나 다름없이 따라 하는 것 말입니다.
저는 하루 종일, 머리가 어지러울 때까지 사실만 말할 수 있습니다. 당신의 사고 틀을 경첩째 날려버릴 만한 사실들로요.
결국 "공산주의"라는 또 다른 침략적이고 기생적인 바이러스성 밈이 러시아를 파괴하고 황폐화한 만큼 중국에도 파괴와 황폐를 가져왔지만, 중국은 동유럽 유대인 거주 제한 지역(pale of settlement)에서 비롯되어 러시아를 거쳐 옮겨온 "공산주의"라는 기생충 감염에서 실제로 회복할 가능성이 훨씬 높아 보입니다. 반면 지금 상태로는, 분명 기념비적인 역사적 사건이 벌어지지 않는 한 유럽은 사실상 소멸하고, 토착 유럽인들은 더 많이 인종 청소를 당해 지워지고 그들의 문화와 사람들은 파괴될 것입니다. 어느 쪽으로든 방향을 틀 수 있다는 점을 차치하면, 우리는 지금 그 궤도 위에 있습니다.
AI는 "두뇌를 위한 자동차"가 될 수 있습니다.
어떤 사람들은 "초지능"을 꿈꿉니다. 성가신 멍청이들을 그냥 죽여 없애고 끝내는 대신, 노예처럼 행동하는 인간보다 똑똑한 AI를요.
물론 "펜과 종이", "컴퓨터", "코딩 에이전트", ... 그리고 "통제 가능한 모든 것을 동시에 통제하는 신급 AI" 사이에는 여러 가능성이 스펙트럼처럼 놓여 있습니다. "잔디 깎는 로봇"과 "범용 터미네이터" 사이도 마찬가지고요.
그 점들을 채워 넣고 어리석어지기 전에 어디서 멈출지 정하는 게 그렇게까지 어렵지는 않겠죠?
"거품"은 블록버스터급 실적이 이끌고 있습니다. 시장이 비이성적이긴 해도 뇌사 상태는 아니에요.
이번 시장 사이클이 인터넷 거품 때와 아주 다른 건 탄탄한 실적 때문인데, 사람들이 그걸 제대로 이해하지 못하는 것 같아요.
글쎄요, AI 모델의 마진이 어떻게 될지는 아직 모르잖아요. 독점 모델이 머지않아 한계에 부딪히면 오픈소스 모델과 하네스(harness)가 격차를 좁힐 수 있고, 그러면 훨씬 마진이 낮은 사업이 되죠. 그렇게 되면 오픈AI와 앤트로픽도 지금처럼 시장을 지배하지 못할 거고요. 수조 달러로 예상되는 기업가치에 100% 부정적인 영향을 줄 겁니다.
근데 그 막대한 비용은요?
입증된 사실(예: https://www.cnbc.com/2026/08/15/anthropic-revenue-jumps-to-over-11point5-billion-in-q2-report.html )에 대한 합리적인 반응으로 보이는데, 왜 비추천을 받는지 모르겠습니다.
오픈 모델은 최전선 모델보다 12개월 뒤처져 있습니다. 기업들이 지난 분기에 110억 달러를 들여 산 것을 1년 뒤에는 원가에 얻을 수 있게 된다는 얘기입니다. 그동안 앤트로픽은 1년에 400억 달러 넘게 손해를 보고 있고요. 이게 어떻게 좋게 끝날지 저는 모르겠습니다.
기술은 남을 거고 일부 큰 업체도 살아남을 수 있겠지만, 그걸 둘러싼 과대 선전의 판 전체는 살아남지 못할 겁니다.
왜, "가죽 재킷 입은 남자가 AI 에이전트에게 컴퓨터를 팔겠다고 떠드는" 그런 거 있잖아요. "나는 에이전트 팀이 있고 지라(jira) 보드로만 그들과 소통한다"는 사람들도요.
그런 건 전부 기본기라는 기준선으로 거칠게 끌려 내려갈 겁니다.
이런 말 꺼내기 싫지만, 그 지라 보드가 진짜로 잘 돌아가면요?
최신 LLM을 엄청나게 써본 바로는, 현재 기술이 그걸 실제로 해낼 수 있을지 강한 의구심이 듭니다.
거의 같은 결과물을 만들어낼 능력이 있다는 건 물론 보이지만, 그 워크플로를 따라가는 모습은 안 보입니다. 그런 구조에서는 작업을 넘겨주는 경계선이 단순히 잘못된 자리에 놓여 있기 때문입니다.
아, 그러니까 훨씬 좁은 얘기를 하시는 거군요? "에이전트는 안 통한다"가 아니라 "그 워크플로로는 안 통한다, 기본기도 여전히 필요하다" 정도의 말씀인가요?
네, 거의 그렇습니다.
좀 적나라하게 말하자면, 지난 몇 년간 경영진들이 해온 것처럼 제가 제 음란한 망상과 환상을 그들만큼 공개적으로 떠들고 다녔다면, 저는 감옥에 가고, 비행 금지 명단에 오르고, 성범죄자 명부에 이름을 올리고, 사회에 위협이 되는 사람들을 올려두는 온갖 명단에 다 올랐을 겁니다.
에이전트로 노코드를 외치는 열풍은, 역사적으로 선례가 있긴 했어도, 이전의 것들을 12까지 끌어올렸습니다.
도구 호출을 시키는 건 깔끔하고 멋진 일이지만, 에이전트 시장이 에이전트 일꾼들과 에이전트 아내들, 에이전트 개들을 관리하는 건 제 눈에는 푹신한 벽의 방(정신병동)이 떠오르는 일입니다.
AI 회사 CEO들이 유명인에서 그냥 회사 경영하는 사람으로 돌아가겠죠.