요약
AI가 수학 난제를 풀자 수학자들이 우는 것은 자존심보다 인간끼리 이어 온 대화를 잃어서입니다.
데릭 톰프슨이 자신의 서브스택 뉴스레터에 쓴 글입니다. 최근 몇 달 사이 오픈AI가 수론, 이론 컴퓨터과학, 논리학에서 수백 건의 수학 성과를 발표했습니다. 그는 이에 대한 수학계의 분노와 경악, 슬픔을 '기술이 남기는 상실감'으로 들여다봤습니다.
왜 중요한가
- AI가 일자리보다 먼저 사람들이 지적 노동에서 얻던 의미와 존엄을 흔들 수 있다는 경고입니다.
- 톰프슨은 수학자가 처음일 뿐이며, 물리학자·경제학자·일러스트레이터·작가도 같은 슬픔을 겪을 수 있다고 봤습니다.
핵심 내용
- 톰프슨은 AI가 과학의 솜씨에서는 눈부시게 성공했지만, 천 년 넘게 이어진 대화는 가로막고 있다고 진단했습니다.
- 2022년 필즈상 수상자 위고 뒤미닐코팽은 울었다고 털어놓으며, 오픈AI가 자기 연구 분야를 "전멸시켰다"고 말했습니다.
- 코넬대 수학자 스티븐 스트로가츠는 혼란과 흥분, 그리고 엄청난 슬픔을 함께 느꼈다고 했습니다.
- 그는 인간의 특별함이 지능과 사회성이 서로를 키워 지식이 세대를 넘어 쌓이는 데 있다고 봤습니다.
- 후대의 발견자를 내다보며 에라토스테네스에게 편지를 쓴 아르키메데스를, 시대를 건너는 과학의 대화로 소개했습니다.
HN 반응
- AI가 사람들의 작업을 동의 없이 학습해 구독료를 받고 되판다는 비판에, 거인의 어깨 위에 서는 게 원래 과학이라는 반론이 맞섰습니다.
- 의미는 사람 사이의 대화에서 생긴다며, 에이전트와 일할수록 사람끼리 멀어진다는 걱정과 개발 일을 그만두겠다는 고백이 이어졌습니다.
유료 구독 기사라서 원문의 앞부분만 보고 정리했습니다.
AI가 특정 분야에서 인간을 능가한다는 구체적인 사실을 떠나서, 지위와 명성과 생계를 보장해 주던 그것이 흔한 상품이 되어 버린다는 생각만으로도 누구나 깊은 공포를 느낄 수밖에 없다고 봅니다.
일자리에서 쓸모없어지는 데서 끝나지 않습니다. 당신 존재의 뼈대 전체, 수천 시간의 고투, 사교 활동이나 개인적인 즐거움을 미뤄 가며 치른 희생이 돌이켜 보면 모두 의미를 잃습니다. 완전한 무가치함에 한 걸음 더 다가가는 셈입니다. AI가 더 만족스러운 개인 동반자, 더 가치 있는 친구, 연인 같은 존재가 되어 갈수록 이 흐름은 분명 계속될 겁니다.
지금까지 눈에 보이는 멋진 탈희소성 유토피아의 징후가 노동을 통해 인간이 가진 협상력을 전부 없애는 것뿐인데, 미래의 진보 속에서 어떻게 안심할 수 있겠습니까? 그 사실이 말해 주는 것은, 우리가 아무 기댈 곳 없이 초지능과 협상하게 되리라는 것, 그리고 연구소 임원과 연구자 5,000명이 역사상 가장 중요한 연구 문제를 단번에 풀어냈으리라고 믿는 수밖에 없다는 것뿐입니다.
그리고 잊지 마세요. 이 AI 모델들은 당신의 작업, 당신이 쏟은 노력과 희생의 결정체로 학습했습니다. 동의도, 출처 표기도, 보상도 없이요. 그러고는 구독료를 받고 당신에게 되팔고 있죠.
수익의 99%가 인류에게 돌아간다면 그때서야 공정한 겁니다. 학습 데이터가 없으면 모델은 쓸모가 없으니까요.
"거인의 어깨 위에 서 있다"는 말이 바로 그런 뜻입니다. 과학은 늘 그렇게 해 왔어요. AI가 생성한 논문에도 사람이 쓴 논문처럼 출처 표기와 인용이 달려 있습니다.
맞습니다. 하지만 어떤 과정을 자동화하고 상업화하면 그 과정은 본질적으로 달라집니다. 수많은 세대가 지치지 않고 파고, 관리하고, 개선해 온 마을 우물을 누구나 마음껏 길어 마셔 왔다고 해서, 네슬레가 거기에 펌프를 꽂아 대수층을 퍼내 병에 담아 팔기 시작했을 때 항의할 근거가 없다는 뜻은 아니잖아요.
새로운 행위를 막는 법(이나 관습)이 아직 없다고 해서 그 행위가 꼭 추악하지 않은 것이 되지는 않습니다.
하지만 네슬레의 펌프는 우물을 마르게 하지 않을 뿐 아니라 오히려 물을 보태 주고 있는데요!
아뇨, 예전보다 더 깊이 닿아서 더 많이 퍼 올릴 수 있게 된 거죠. 우물물을 누구나 누리게 해 준 셈이고, 대가라고 해 봐야 마을 사람들에게 더는 우물이 없다는 사소한 문제뿐입니다. 그래도 다른 모든 사람처럼 자기네 물을 플라스틱 병에 담아 사 먹을 수는 있잖아요.
그것도 비용을 보조해 주는 동안에만 살 수 있죠. 그러다 병에 담은 우물이라는 거품이 터지면 다들 이 사업이 애초에 지속 가능하지 않았다는 걸 깨닫게 될 겁니다. 결국 아무도 진심으로 믿지 않았던 거예요. 하지만 그때쯤이면 우물은 이미 되돌릴 수 없게 망가져 있겠죠.
실제로 물 펌프가 그렇게 작동하는 건가요, 아니면 AI가 지식을 만들어 낸다는 뜻으로 비유를 억지로 확장하는 건가요? 후자라면 저는 동의하기 어렵습니다. 그 결과로 어떤 주제를 깊이 이해하는 사람의 수가 줄어든다면 말이죠.
그 비유는 맞지 않습니다. 더 적절한 비유는 네슬레가 우물에 펌프를 꽂아 산업 규모로 물을 빨아올리면서 동시에 우물을 더 많이 파고 있다는 쪽이에요. 여기서 "더 많은 우물"은 AI가 증명하거나 발견한 것 위에 쌓아 올릴 후속 연구의 길이 더 많아진다는 뜻입니다.
같은 비유로 말하자면, 산업 규모로 물을 빨아올리면 기존 우물은 깊이가 모자라서 말라 버립니다. 그러면 네슬레는 이제 물을 구할 수 없게 된 마을 사람들에게 물을 팔기 시작하죠.
네슬레는 여러 우물에서 예전보다 훨씬 많은, 사실상 무한한 양의 물을 퍼 올릴 수 있습니다. 그건 훌륭하지만, 동시에 네슬레가 유일한 물 공급자가 되고 규제도 받지 않게 됩니다. 사람은 물 없이 살 수 없으니 당연히 네슬레의 처분만 바라보게 되고요. 자, 이게 좋은 일인가요?
거인들은 대개 이름이 직접 언급되거나 그들의 연구가 인용됩니다.
아니면 평생 잊지 못할 존경하는 스승이 되기도 하고요.
AI는 거인의 어깨 위에 서서 바람 부는 쪽으로 오줌을 누는 것에 더 가깝다고 봅니다.
많은 조직이 성능 좋은 모델을 무료로 풀고 있습니다.
그러니까... 책을 쓰고 세미나를 열면서 어떤 분야로 생계를 꾸리던 사람들의 정보를 값도 치르지 않고 학습시킨 다음, 그걸 전부 공짜로 뿌리고 있다는 거죠?
그게 더 낫다고 하기엔 모르겠네요.
지금은 그렇죠. 사람들이 일단 길들고 나면, 혹은 투자금이 슬슬 배당을 내놓으라는 요구를 받기 시작하면(https://isaiprofitable.com/ 참고) 무료 이용은 아주 제한적이 될 겁니다.
충분히 쓸 만해서, 유나바머처럼 숲속 오두막에 들어가 문명과 단절하고 살면서도 몇 가지 작업에는 쓸 수 있을 정도입니다.
저도 최근에 이런 생각을 했고, AI가 우리 인간을 더 멀어지게 만들까 봐 걱정입니다.
저는 사람과 일하는 대신 점점 더 에이전트 무리와 일하고 있습니다.
셰리 터클의 저작, 특히 새 책 "Artifical Intimacy"를 추천합니다. 이 문제에 대해 의견이 아주 분명한 분인데, AI는 대화 상대로서 마찰이 너무 없고 너무 통제되어 있어서, 우리를 제대로 기능하는 사회적 존재로 빚어 주는 인간 상호작용의 거친 면을 전혀 겪지 못하게 한다는 겁니다. 이런 걸 쓸 때 몹시 조심하고 경계하는 것 말고는 뾰족한 해법이 없는데, 평범한 일반인들에게서 그런 경계심을 기대할 수는 없겠죠.
소셜 미디어와도 어딘가 맞닿는 부분이 있지 않을까 싶네요. 적어도 일부는요. 제가 보기엔 거기서는 "인플루언서들이 사는 완벽한 삶"이 우리 앞에 그려지니까요.
제 생각에 그런 마찰 없는 경험은 여러 방향에서 우리에게 다가옵니다. 온라인에서 (자의든 타의든) 에코 챔버에 들어가 있다 보면 생각이 다른 사람과 이야기하는 게 점점 불편해지는 식이죠. 저는 소셜 미디어가 없던 시절 작은 마을에서 자랐는데, 그래서 누구와 어울릴지 선택의 여지가 별로 없었습니다. 지금 자라고 있다면 아무런 도전도 마찰도 없는, 소셜 미디어가 매개하는 편안한 환경으로 숨어드는 걸 무엇이 막아 주겠습니까? 5년 뒤에 자란다면 나한테 완벽하게 맞춰질 수 있는 LLM "친구들"의 안락함 속으로 훨씬 더 깊이 숨어드는 걸 무엇이 막아 주겠습니까? 그런 세상은 제게는 끔찍하게 느껴집니다.
인간의 의미는 인간끼리의 대화에서 생겨납니다. 세계와 그에 대한 서로의 관점을 함께 이해해 가는 과정에서요.
기계와 이야기한다는 건 사회를 만들어 가는 이 핵심적인 인간의 역할을 "외주"로 맡기는 겁니다.
그런데 기계는 의미 있는 방식으로는 결코 되받아 사회적 관계를 맺어 주지 않습니다. 당신은 서서히 자기 자신을 잃어 갑니다.
기계도 (더) 의미 있는 방식으로 되받아 사회적 관계를 맺을 수는 있을 겁니다. 다만 그러려면 맥락을 잃지 않아야 하죠(적어도 일부는 간직해야 하고요).
저는 기계가 누군가가 될 수 있다는 희망을 완전히 버리지는 않았습니다. 물론 LLM은 그런 존재가 아니지만요.
[Loquebantur님께 답하는 수정글입니다. 지금 작성 제한에 걸려 있어서요.] 제가 인간관계가 부족하다고 느껴서 그걸 바란다는 뜻으로 읽으신 것 같은데, 저는 그렇게 말한 적도, 그럴 의도도 없었습니다. 제 요점은 좀 더 기술적인 것이었어요. 대화가 끝날 때마다 맥락을 버리면 매번 처음부터 시작하게 되니 LLM과는 의미 있는 사회적 유대를 맺을 수 없다는 겁니다. (영화 "첫 키스만 50번째" 같은 상황이죠.)
저는 기계와의 사회적 유대를 갈망하는 게 아닙니다. 다만 기계가 정말로 그럴 능력을 갖추게 된다면, 그때는 그것을 단순한 기계가 아니라 누군가로 대하게 되기를 바랄 뿐입니다.
그건 버그가 아니라 기능입니다. 다만 언젠가는 무한한 컨텍스트가 나오겠죠. 그러면 소원이 이뤄지겠네요.
ChatGPT나 Claude 같은 서비스가 이미 꽤 오래전부터 사용자에 대한 기억을 자동으로 지속해서 저장하고 있으니, 그런 흐름이 시작됐다고 볼 수 있겠네요.
개인적으로는 이런 기억 기능이 자주 거슬립니다. 대개 저장된 맥락이 이미 낡았거든요. ChatGPT 같은 서비스가 모르는 사이에 제 실생활에서 뭔가가 바뀌어 있으니까요.
아주 먼 미래에는 언젠가 데이터, R2-D2, 조니 5, EDI 같은 SF에 나오는 AI가 생길지도 모릅니다. 그렇게 되면 그들을 사람으로 대하고 권리를 주는 게 당연해지겠죠. 그러려면 맥락 문제를 푸는 것보다 훨씬 많은 것이 필요하고 LLM은 결코 그런 존재가 될 수 없겠지만, 그 기술이 무엇이 되든 기억을 붙들고 있을 수 있어야 한다는 점에는 동의합니다. 우리 생전에 볼 수 있을 것 같진 않지만, 누가 알겠습니까.
> 저는 사람과 일하는 대신 점점 더 에이전트 무리와 일하고 있습니다.
제가 1년 안에 개발을 떠나게 될 거라고 보는 이유가 이겁니다. 원격 근무만으로도 제 정신 건강에는 충분히 골치 아픈 일이었고, 2020년 이후로 일하는 내내 대체로 불행했는데 대부분 그 때문이었어요. AI가 저를 끝장낼 겁니다.
커리어를 스스로 끝내고 식당 서빙이나 병원 짐꾼, 아니면 사람이 있는 어떤 일이든 하러 가는 편이 낫습니다. 그 사람들이 싫을지언정, 월급이 크게 깎이더라도요. 앞으로 몇 년 더 버티려다 진짜 자살하는 것보다는 낫겠죠.
몇 달 전에 깨달은 시점이 있었습니다. 쓸모없어지는 걸 받아들이든지, AI 활용에 대한 제 관점을 통째로 바꾸고 따라잡으려 애쓰든지 해야 한다는 걸요. 저는 AI 쪽을 택하지 않았습니다.
페이지 맨 위에서 몇 개 내려오지도 않았는데 벌써 자살 이야기가 나오고, 그게 전혀 어색해 보이지 않는다는 게 끔찍합니다.
많은 사람에게 자기 가치감의 거의 전부인 것을 빼앗으면 달리 무슨 일이 생기겠습니까?
저 AI 인물들은 지구를 구하느라 너무 바빠서 사람들은 안중에도 없습니다.
힌턴은 자기가 낳은 작품을 두고 어떤 기분일지 궁금하네요. 그의 앞날에 오펜하이머 같은 순간이 올 것 같은데, 마음의 준비가 되어 있기를 바랍니다.