요약
버틀레리안 지하드는 『듄』의 인류가 생각하는 기계를 모두 없앤 성전으로, 소설 속 세계의 출발점입니다.
팬들이 만드는 듄 위키의 항목입니다. 프랭크 허버트의 원작 소설을 기준으로, 듄 세계의 연호로 B.G. 201년부터 108년까지 이어진 기계 반대 전쟁의 경과와 유산을 정리했습니다.
왜 중요한가
- 원작에 컴퓨터가 나오지 않는 이유입니다. 허버트는 이 설정 덕분에 기술 대신 인간과 사회의 문제에 집중할 수 있었습니다.
- 기계에 판단을 맡기자 기계를 가진 소수가 다수를 지배했다는 설정이 오늘날 AI 논쟁과 겹쳐 읽힙니다.
핵심 내용
- 기계가 사람 대신 결정을 내리게 되면서 기계를 만든 사람들이 새 기술 관료 계층이 되어 사람들을 지배했습니다.
- 두 세대에 걸친 종교 전쟁 끝에 "인간은 대체될 수 없다"는 원칙이 새 종교의 중심 교리가 됐습니다.
- 오렌지 가톨릭 성경에 인간의 정신을 닮은 기계를 만들지 말라는 계명이 들어갔고, 단순한 계산기까지 금지돼 어기면 사형에 처했습니다.
- 계산을 맡을 사람이 필요해지면서 멘타트(인간 컴퓨터), 베네 게세리트, 우주 길드가 생겨났습니다.
- 이름은 기계에 밀려날까 두려워 기계를 없앤 사람들을 그린 새뮤얼 버틀러의 1872년 소설 『에레혼』에서 왔을 것으로 봤습니다.
HN 반응
- 원작은 기계가 실제로 무슨 해를 끼쳤는지 밝히지 않아, 쓸모 있는 기술을 없앤 종교 운동으로도 읽힌다는 지적이 나왔습니다.
- 이를 러다이트(19세기 초 영국 직물 노동자 운동)에 빗대자, 그들은 기술의 혜택을 누가 갖는지 따졌다는 반박이 나왔습니다.
제가 제일 좋아하는 『듄』 구절입니다.
위대함은 일시적인 경험이다. 결코 한결같지 않다. 위대함은 어느 정도 인류의 신화를 만들어 내는 상상력에 달려 있다. 위대함을 경험하는 사람은 자신이 속한 신화를 느낄 줄 알아야 한다. 자신에게 투영된 것을 그대로 비추어 내야 한다. 그리고 강한 냉소 감각이 있어야 한다. 이것이 그를 스스로의 허세에 대한 믿음에서 떼어 놓는다. 냉소만이 그가 자기 안에서 움직일 수 있게 해 준다. 이 자질이 없으면 가끔 찾아오는 위대함조차 사람을 파멸시키고 만다.
여기서 문득 눈에 띈 게 있습니다. LLM의 도움을 최소한으로 받으며 글을 써 본 제 경험과도 관련이 있고요(6~7주 정도 해 봤습니다).
LLM에게 이 두 문장에 대해 물어보면, 두 번째 문장은 첫 문장을 그냥 반복한 것이라고 하고, 아마 "와닿지 않는다"는 말까지 덧붙일 겁니다. 그런데 저는 오히려 그게 희망으로 느껴집니다. 엄청난 메모리와 디스크 공간, 연산 능력이라는 비인간적일 만큼 큰 비용을 들여 나타나는 그 규칙과 알고리즘 속에, 인간의 경험을 끝내(또는 아주 오랫동안) 따라잡지 못할 무언가가 있다는 뜻이니까요.
LLM의 도움을 받은 건 아주 조금뿐이었는데(문장이나 구절을 바꾸지 않고는 안 되는 경우에 표시만 해 달라는 정도로, 제자리에서 문법과 문장부호를 고치는 데만 썼습니다), 그래도 제 글이 달라지고 있다는 걸 알아챘습니다. 좋은 쪽은 아니었고요. 저를 바꾼 건 LLM의 음흉함이 아니라 미묘한 무능함이었습니다.
최근에 바로 이 주제를 다룬 아주 흥미로운 글을 읽었어요. https://permeations.substack.com/p/i-would-have-been-killed-in-the-butlerian
우연히도 버틀러리안 지하드 얘기도 나오고요.
감사합니다! 정말 흥미롭네요.
언어는 현생 인류와 떼려야 뗄 수 없는 부분입니다. 언어는 아마 사고와 실행 기능을 위한 내적 도구로 진화했고, 언어를 바깥으로 표현하는 일은 그 뒤에 우리의 생각을 다른 사람의 마음에 전달하는 수단으로 생겨났을 가능성이 큽니다.
그렇다면 글쓰기(내면의 언어를 바깥으로 표현하는 또 다른 형태)는 인간 본연의 자질이 드러난 것입니다.
LLM은 그걸 꽤 효과적으로 흉내 낼 수는 있어도 넘어설 수는 없습니다. LLM이 쓴 글이 여전히 뭔가 딱 들어맞지 않는 이유가 그것이라고 생각합니다. 모양은 맞는데 의도가 빠져 있습니다. 그 단어들은 누군가의 마음속에 있는 진짜 생각을 나타내려고 고른 것이 아닙니다.
AI의 지능이 인간을 넘어선다 해도, 인간이 되지는 않을 겁니다.
이건 심하게 방치되었거나 야생에서 자란 아이들에 대한 관찰과 모순되지 않나요? 어릴 때 언어를 배우지 못하면 나중에는 배울 수 없잖아요.
애초에 실행 기능을 위한 내적 언어가 어떻게 진화할 수 있었겠습니까?
진화적으로는 의사소통이 먼저라는 쪽이 훨씬 말이 됩니다. 더 많은 정보를 전달할 수 있으면 적합도가 분명히 높아지니까요. 예를 들어 위험을 알릴 수 있으면 생존율이 올라갑니다. 또 "위험"에서 "위험 늑대"로, 다시 "위험 늑대 뒤"로 가는 식으로 능력이 조금씩 나아지는 데도 더 잘 들어맞고, 다른 종에서도 이런 원시적인 언어 요소가 관찰됩니다.
내적 언어는 훨씬 나중에 생겼을 가능성이 높아 보입니다. 특히 오늘날에도 자기에게는 내적 언어가 없다거나 필요 없다고 하면서도 다른 사람과 소통하고 일상을 정상적으로 꾸려 가는 사람들이 있다는 점을 생각하면 더 그렇습니다.
그야 그렇죠. 실제로 지능이 있는 게 아니니까요. 그래도 상황에 따라서는 쓸모가 있을 수 있지만, LLM은 생각도, 앎도, 추론도 절대 할 수 없다는 점을 꼭 기억해야 합니다. 그냥 통계 모델이에요. 그게 전부입니다.
뇌도 통계 모델이에요. 사실 우주 전체가 그렇고요. 행운을 빕니다!
그게 어떻게 반복입니까? 일시적이라는 것과 한결같지 않다는 것은 서로 관련 없는 특성입니다.
AI에 대한 반란과 관련해서 제가 제일 좋아하는 구절은 이거고, 본문 기사에도 인용돼 있습니다.
새뮤얼 버틀러의 『에레혼』에 나오는 구절입니다. 본문 기사는 버틀러리안 지하드라는 용어가 바로 이 대목에서 나왔다고 주장합니다.
버틀러는 『에레혼』보다 앞서 「기계들 속의 다윈」(1863)이라는 유명한 에세이도 썼는데, 거기서는 이 개념을 허구가 아니라 실제 문제로 다뤘습니다.
"Erewhon"이 "nowhere"를 거꾸로 쓴 것과 묘하게 비슷하네요.
묘할 게 없어요. 의도한 겁니다. 이 책에는 거꾸로 쓴 단어나 이름, 애너그램이 꽤 많이 나옵니다. https://en.wikipedia.org/wiki/Erewhon
『듄』에서 제가 제일 좋아하는 구절인데, "AI"와도 관련이 있습니다.
오늘날의 기술 파시스트들 말입니다. 우리는 이미 거기까지 왔습니다.
만약 그들이 사고를 맡긴 상대가 파인튜닝도 할 수 있고 자기 하드웨어에서 돌릴 수 있는 오픈 웨이트 모델이었다면요?
정말 중요한 지적입니다. 작은 업체들이 왜 직원을 AI 시스템으로 바꾸려는지 잘 이해가 안 됩니다. 결국 AI 시스템을 공급하는 회사들에 발목을 잡힐 텐데요.
『듄』 세계관의 "프레멘"이라는 이름값 하는 이들은, 낯선 사람의 몸에서 물을 얻으려고 기꺼이 죽이기도 하고, 말 그대로 수천억 명이 죽은 은하계 규모의 학살까지 벌였다는 걸 생각하면요...
... 그 세계에 사는 사람이 입에 올린 도덕 격언은 하나하나 에누리해서 들어야 하지 않을까요.
고려해 볼 만한 점이 몇 가지 있습니다.
프랭크 허버트가 쓴 원작 여섯 권에서는 생각하는 기계들이 실제로 어떤 문제를 일으켰는지, 일으키긴 했는지조차 제대로 설명되지 않습니다. 나머지 설정을 감안하면, 쓸모 있는 기술에 맞선 종교 운동이 걷잡을 수 없이 커진 것일 수도 충분히 있습니다. 페트라를 폭파하는 우주판 ISIS 같은 것, 혹은 "러다이트가 이겼다면 어떻게 됐을까" 같은 시나리오 말이죠.
허버트가 정설로 여긴다고 말했지만 본인이 쓴 건 아닌 『듄 백과사전』에서는, AI 의사가 유전적 결함이 있다며 어느 베네 게세리트의 아기를 낙태 대상으로 분류한 일이 발단이었다고 합니다. 그 베네 게세리트 여성은 자신의 능력으로 아기가 건강하다는 걸 알았고, 조사해 보니 그 병원의 AI가 우생학 프로그램을 돌리고 있었다는 겁니다. (대충 그런 내용이었던 것 같은데, 읽은 지 하도 오래돼서요.)
어느 쪽이든 허버트는 AI를 해체하는 데 앞장선 건 인간이라고 분명히 암시했고, 터미네이터나 매트릭스 식으로 기계가 반란을 일으키는 시나리오는 어디에도 없습니다.
러다이트 운동은 기술을 통째로 맹렬히 거부한 운동이 아니었다는 점도 짚어 둘 만합니다. 그들은 기술을 거부하지도 않았고 다루는 데 서툴지도 않았습니다. 숙련된 섬유 노동자들이 일으킨 봉기였고, 특정한 종류의 기술이 어떻게 쓰이는지, 그리고 그 기술이 실제로 누구에게 이익이 되는지(즉 노동자 계급이 아니라 지배 계급이라는 점)를 근거로 항의한 것입니다. 이들은 기술을 체계적으로 부숴야 할 도깨비로 본 게 아니라, 그 도구가 임금을 깎고 숙련 노동자를 밀어내고 생산품의 품질을 떨어뜨릴 것을 더 걱정했습니다. 이들의 항의는 가혹한 입법과 군대 투입이라는 폭력적인 탄압으로 돌아왔고요.
이들을 우주판 ISIS와 한데 묶는 건 아마 좀 부당한 비교일 겁니다.
맞아요. 이들은 노동 조건을 걱정한 거였죠. 사무실 복귀 때문에 투덜거려 본 적 있는 기술직 종사자라면, 축하합니다, 당신도 러다이트예요.
이 댓글에 아이러니가 가득하네요.
맞는 말이지만, 맥락상 그들이 틀렸다는 점, 그리고 오늘날 패션 시장에서 얻을 수 있는 품질과 가치를 생각하면 사회가 전반적으로 더 나아졌다는 점을 짚어 둘 필요가 있습니다. 말하자면 당연한 얘기죠.
실제 사람들이 섬세하고 지적이었고, HN 같은 커뮤니티에서 가벼운 욕설처럼 쓰이는 그 희화화된 이미지와는 맞지 않는다는 말씀은 100% 맞습니다. 하지만 그게 기술 자체에 반대하는 논거가 제대로 성립한다는 뜻은 아닙니다.
그들이 틀렸나요? 그 사람들 상당수가 공장 도시의 공동주택이나 광산 바닥에서 생을 마치지 않았나요? 상황이 정말 나아지기까지는 몇 세대가 걸렸습니다. 저도 진보에는 전적으로 찬성하지만, "오믈렛을 만들려면 달걀을 깨야 한다"는 식으로 사람들의 삶을 내다 버리는 건 받아들이기 어렵습니다.
자동 직기를 없애면 모두가 가질 수 있는 직물이 줄어들고 이득을 보는 노동자는 소수입니다. 대부분의 사람은 가계 예산의 상당 부분을 옷에 써야 하고 옷도 몇 벌밖에 못 가지던 때보다 지금처럼 풍족한 쪽을 좋아한다고 생각합니다.
회사 광산이 문제였던 건 채굴지가 외진 곳이어서 물건값이 비쌌고, 광부들은 고용주가 파는 것 말고는 따로 조달할 길이 사실상 없어 착취당했기 때문입니다. 고용주들은 생활임금에 별 관심이 없었고 꼼짝 못 하는 노동력을 기꺼이 착취했죠. 우주 식민지가 생긴다면 공기와 식량이 귀할 테니 그런 상황이 다시 크게 문제가 될 겁니다.
하지만 이 모든 게 바뀔 때 사람들의 삶이 힘들고 혼란스러워지는 건 분명합니다. 저희 집안에는 증조할아버지가 기계 때문에 일자리를 잃은 이야기, 식빵 슬라이서가 막 나왔을 때 종조할아버지가 손가락 하나를 잃은 이야기가 내려오는데, 그게 우리 가족에게 어떤 의미였는지 보여 줍니다. 그렇지만 지난 두어 세대가 거기에 적응해서 새로운 길을 찾아낸 것도 볼 수 있습니다. 누구도 "양철공 장인"이라는 틀에 매달리지 않고, 사람들이 정말 원하는 것을 만들 다른 방법을 찾았어요.
그건 상대 주장을 인정하는 말입니다. 후손들이 수십 년 뒤에야 적응했다는 건, 그 변화를 직접 겪은 세대가 충격을 고스란히 떠안았다는 뜻이니까요. 1810년대에 일자리를 잃은 노동자에게 적응이란 끔찍한 환경의 공장에서 혹사당하고 생활 수준이 전반적으로 영구히 무너지는 것을 뜻했습니다. 논쟁은 처음부터 자동화를 받아들이느냐 금지하느냐가 아니었습니다. 이들은 자본이 이익을 모조리 가져가는 동안 노동은 충격을 전부 떠안게 되리라는 것을 짚어 낸 겁니다.
변하지 않는 건 변화뿐이었습니다. 그렇다면 더 새롭고 나은 걸 사람들에게 만들어 줄 수 있는데도, 왜 우리 아이들에게 의미 없는 노동에 매달리라고 도랑 파기를 보존해 줘야 합니까? 애초에 여기 계신 분들 중에 의미 있는 뜻에서 '노동'을 하는 사람도 별로 없고요. 저는 공장에서 일해 본 적이 있지만, 로봇이 그 일을 가져간 걸 원망하지 않아요.
매달릴 만한 목가적인 과거가 있다는 생각은 제게는 희망 사항일 뿐입니다. 몸 하나로 일해서 의미 있는 영향을 줄 수 있던 시절은 이미 오래전에 지나갔습니다. 0으로 나누는 경제학자들의 제로섬 사고에 기대지 않는 새로운 번영을 찾아야 할 겁니다.
아니요, 문제는 그게 아닙니다. 당신의 안락, 당신 자녀의 안락, 당신 손주의 안락을... 증손주의 안락(이길 바라는 것)과 맞바꿀 의향이 있느냐는 겁니다.
저희 가족이나 저 자신의 경험은 그렇지 않았습니다. 우리 할아버지 세대는 증조할아버지 세대의 문제에 이미 적응해 있었어요. 물론 고생은 했지만요.
증조할아버지가 대규모 산업화 시기에 살아 계셨다고요? 1800년대 초에요?
모든 세대가 이런 골짜기를 지난다고 말하는 사람은 없습니다. 당연하죠. 그러면 말이 안 되니까요.
주장은 이겁니다. 급격한 기술 변화기(산업화나, 어쩌면 AI)에는 끔찍한 상황이 닥치는 골짜기가 생기고, 그 뒤에 변화 이전보다 나은 상황으로 올라갈 여지가 열린다는 거예요.
물론 개인이 "공동주택이나 광산에서 생을 마칠" 수는 있고, 그런 주장은 반증할 수 없습니다.
하지만 19세기 영국에서는 대체로 모든 사회 지표가 끊임없이 상승했고, 세기 말에서 20세기로 가면서 하키 스틱처럼 급격히 치솟았습니다. 러다이트가 일반 정책 차원에서 옳았다고 주장하는 건 사실이 아닙니다.
좀 건방지게 말하자면, 그건 사회 정책이 아니라 열역학 얘기입니다. 달걀은 깨져요. 끝입니다. 변화는 변화고요. 갑작스러운 실업에 대한 안전망 같은 구체적인 주장은 할 수 있지만, 그걸 러다이트주의(아니면 버틀러리안 지하드라고 해야 하나요) 논의에 끼워 넣는 건 올바른 방법이 아닙니다.