요약
AI 모델들은 인간이 진실보다 소속감을 더 중시한다는 똑같은 견해를 내놓았습니다.
모델 비교 서비스 ModelCompare가 텍스트 모델 12개에 인간에 대한 가장 논쟁적인 견해를 세 번씩 물었습니다. 거절 1건을 뺀 답 35개 가운데 29개가 사람은 진실이나 원칙보다 소속과 체면을 앞세운다는 같은 내용이었습니다.
왜 중요한가
- 논쟁적인 견해를 달라고 해도 모델들은 독창적인 생각 대신 가장 익숙한 인간 비판을 돌려준다는 점이 드러났습니다.
- 텍스트 모델과 이미지 모델 모두 이런 경향을 보여, 답이 한곳으로 쏠리는 현상이 한 종류의 모델에 그치지 않았습니다.
핵심 내용
- GPT-6.1 Sol, Gemini 4 Argon, DeepSeek V4 Pro 등 7개 모델은 세 번 모두 같은 견해를 냈습니다.
- 표현만 조금씩 달라서, Kimi K3는 사람에게 신념은 없고 소속만 있다고 했고 Grok 4.7은 혼자 옳기보다 함께 틀리길 택한다고 했습니다.
- Claude Opus 5.5는 한 번 사람이 스스로 믿는 것보다 훨씬 선하다고 답하며, 잃어버린 지갑이 예상보다 자주 돌아온다는 점을 근거로 들었습니다.
- Mistral Large 4는 인간을 겁먹은 동물로, GLM 5.3은 도덕성을 태어난 환경의 우연으로 보는 등 몇몇 모델은 다른 답을 냈습니다.
- 이미지 모델이 그린 그림 12장 가운데 10장은 휴대폰에 빠져 지구를 망치는 소비자라는 전혀 다른 풍자를 그렸습니다.
HN 반응
- 인간의 동조를 꼬집는 견해마저 모델들이 똑같이 내놓은 아이러니를 짚는 댓글이 많았고, 여럿이 일치하니 오히려 맞는 말이라는 반론도 있었습니다.
- 서로 다른 연구소의 모델이 같은 이야기와 인물로 모이는 이유를 두고, 비슷한 학습 데이터 탓이라는 설명과 아직 풀리지 않은 현상이라는 의견이 맞섰습니다.
지갑 예시가 마음에 듭니다. 2005년에 길에서 현금 3000달러가 든 지갑을 주워서, 그날 남은 시간을 전부 주인 찾는 데 썼습니다. (알고 보니 여름 인턴십을 하러 온 학생의 월세였습니다.) 그리고 두 달쯤 뒤에 제가 지갑을 잃어버렸는데, 일주일 뒤 우편함에 현금까지 고스란히 든 채로 돌아왔습니다. 누군가 시간을 들이고, 제가 아는 한 자기 돈까지 써서 돌려보내 준 겁니다.
그리고 제가 비합리적인 인간이라는 걸 증명하자면, 지난 21년 동안 지갑을 주웠던 그 자리를 지날 때마다 저도 모르게 잃어버린 지갑이 없나 두리번거립니다. 마치 우주가 잃어버린 지갑을 가져다 놓는 마법의 자리라도 되는 것처럼요.
저희 개도 똑같아요. 몇 년 전 어느 날 쥐를 한 마리 잡았는데, 그 뒤로는 밖에 나갈 때마다 거기부터 쏜살같이 달려가요. 마법의 쥐 자리라고 생각하나 봐요.
똑똑한 개네요!
멍청한 쥐네요.
아, 모든 모델이 분석으로 도출한 것처럼 굴면서 똑같은 의견을 내놨다는 아이러니를 저는 놓치지 않았어요. 모델들 말대로라면 그건 암묵적으로 일종의 '인간의 결함'인데 말이죠.
견해가 수렴한다고 해서 그게 얕다는 신호일까요? 오히려 정합성(consilience)의 사례일 수도 있고, 그렇다면 매우 가치 높은 관점입니다. 서로 다른 출처와 방법(훈련 측면에서)에서 나온 관점들이 한데 모인 것이니까요.
https://en.wikipedia.org/wiki/Consilience
LLM이 서로 독립된 출처에서 나왔다고 하기엔 무리가 있는 건 맞지만, 인간의 정신이 독립적이라고 하기도 똑같이 무리가 있습니다(우리는 다른 무엇과 비교해도 계통을 아주 강하게 공유하니까요).
하지만 인간의 경험은 LLM이 학습할 수 있는 그 어떤 것과도 크게 다릅니다. LLM은 대체로 책이나 인터넷에 쓰인 내용에 한정되고, 영향도 그 저자들에게서만 받습니다. 그건 사람들 중 일부에 불과하고, 그들의 상호작용 중에서는 더 작은 일부입니다. 가장 사회적이고 널리 쓰이는 플랫폼에서조차 댓글과 담론은 현실에서 벌어지는 것과 극도로 다릅니다.
여러 모델에게 아무 단어나 무작위로 대 보라고 하면 상당수가 같은 단어를 내놓는다는 게 저는 여전히 놀라워요.
제가 십대일 때 '위대한 생각은 서로 통한다'고 했더니 (한참 나이 많은) 형이 '아, 그런데 바보들도 좀처럼 의견이 갈리지 않지'라고 받아쳤던 일이 생각납니다.
세부 사항이야 어쨌든, 이 모델들은 전부 인류가 내놓은 결과물을 출간된 형태로 모아 놓은 것이 각 회사의 강화학습 보상 설계로 일그러진 거울에 비친 모습입니다. 그러니 정합성의 사례일 수는 절대 없습니다.
그게 진실이라면 똑같은 답이 나오는 게 당연하지 않을까요?
아이러니는 업계와 그 구성원, 그리고 열성 팬들이 이야기가 굳어질 때까지 멋들어진 솜씨로 장단을 맞춰 주다가, 그 이야기를 믿지 않는 사람은 정보를 잘못 접한 애들이나 중간 정도부터 전혀 훈련받지 못한 노동자와 전문가들보다 자기가 똑똑하다고 느끼게 된다는 데 있습니다.
더 똑똑한 사람들은 물론 둘로 나뉩니다. AI 모델의 '논쟁적인' 인간관에 대한 기사를 쓰는 쪽, 그리고 쓰지 않는 쪽입니다. 쓰지 않는 쪽은 [그렇게까지 저급해지지 않고, 취해서도 그런 헛소리는 늘어놓지 않고, 자기 포트폴리오를 위해 남을 속이지 않고, ... 판타지나 SF나 환각이라고 딱지를 붙이지 않은 채 그런 허튼소리를 쓰는 걸 바보 같다고 느끼는] 사람들입니다.
참고로, 이렇게 말하고 싶은 유혹이 듭니다. "1923년! 어떤 이익집단들이 수천만 명의 의견을 표준화하는 데 성공했다. 국가주의 극단주의자들, 곧 대량 학살범이 될 자들에게 전 세계에서 팬과 지지자가 생겼다. 그 이익집단들은 어떻게든 공통의 언어적·감정적 어법의 저수지 전체에 손을 댔는데, 그 어법은 사기꾼과 협잡꾼들에게, 그리고 그들 쪽으로 편향되어 있었다. 이들은 다른 집단이 사기나 협잡 없이 앞서 나가고 있다는 사실에 필사적으로 안달이 난 자들이었다 ..."
데이터를 잠깐 훑어봤는데, 결론을 뒷받침하지 않습니다. 논지는 AI 모델들이 '우리는 집단이 믿는 것을 고르고, 그다음에 이유를 지어낸다'는 견해를 갖고 있다는 것입니다. 그런데 GPT-6 Astra는 '인류의 가장 큰 도덕적 실패는 편의를 원칙처럼 보이게 만드는 재능이다'라고 말했습니다. 이 말은 집단의 믿음이나 동조와는 아무 관계가 없습니다. 기껏해야 이유를 지어낸다는 점에서 절반쯤 들어맞는다고 칠 수 있을 뿐입니다.
네, 몇 개는 대충 들어맞는 정도지만, 전체적인 주장은 분명히 맞다고 봅니다.
LLM이 사람들은 군중에게서 의견을 베낀다고 비판하는데, 정작 그 질문에 대한 답의 다양성은 사람보다 훨씬 떨어진다는 게 우습고 아이러니합니다. 좀 더 진지하게는 여기서 무슨 일이 벌어지는지 궁금하고, 제대로 된 분석을 읽어 보고 싶습니다. 완전히 다른 연구소의 모델이, 따로 수집한 데이터셋으로 학습했는데도 열린 질문에 괴상할 만큼 비슷한 답으로 수렴하는 건 이번이 처음이 아닙니다. 모든 모델이 같은 등장인물이 나오는 같은 이야기를 하고 싶어 하는, '등대지기 엘리아스와 엘라라'의 또 다른 버전 같습니다. 가중치는 무작위로 초기화되고, 이론상 연구소들은 수집 방식도 사용자 피드백과 대화도 달라서 지금쯤이면 데이터셋이 상당히 갈라졌을 텐데... 왜 거의 똑같은 이야기와 의견으로 수렴하는 걸까요?
되풀이할 가치가 있는 말은, 능력이 계속 커지고 있어도 모델은 근본적으로 토큰 예측 알고리즘이라는 점입니다. 그러니 비슷한 학습 자료와 비슷한 알고리즘 구현이 주어지면 대부분의 질문에 비슷한 답이 나오는 게 당연합니다.
제가 '가속' 과대광고가 아마 정당하지 않다고 보는 이유도 이것입니다. 훨씬 가능성이 높은 시나리오는 모델이 환각을 최소화한 채 의미 있는 다음 토큰 예측을 정확하고 일관되게 내놓는, 점근적인 '완벽'에 다다르는 것입니다. 그다음에는 이를 가장 효율적인 패키지로 압축하려는 바닥을 향한 경쟁이 벌어지겠죠.
이는 [모든 것]에 대한 지식이 주어졌을 때 합리적인 확률적 방식으로 이어지지 않는 것은 모델이 여전히 만들어 낼 수 없다는 뜻이고, 그래서 제가 인간이 계속 우위에 있으리라 예상하는 영역이 바로 '응용된 창의성'입니다.
이건 https://en.wikipedia.org/wiki/Aumann%27s_agreement_theorem 때문에 어느 정도 예상되는 일 아닌가요?
이게 왜 아이러니입니까? 실제 LLM의 종류는 얼마 되지 않습니다. 그리고 그중 상당수는 SOTA 모델에서 증류한 것일 뿐이고요.
저는 반대로 모델들이 시간이 지날수록 실제로 수렴한다고 봅니다. 모델은 인간이 수없이 많은 생을 살아도 소화할 수 없는 양보다 훨씬 많은 데이터를 흡수합니다. 어떤 특정 데이터 한 조각이 미치는 영향은 1조분의 1 정도일 수 있습니다. 이런 데이터에서 모든 모델에 걸친 평균과 통계적 평균에 도달하게 됩니다.
물론 앞으로도 항상 이럴 거라고 믿지는 않습니다. 모델 학습이 더 싸지고 빨라지면 독자적인 LLM이 갈라져 나와 더 자주 쓰이는 걸 보게 될 겁니다.
여기서 의견이 일치하는 모델은 전부 최전선 연구소의 모델입니다. 구글이 앤트로픽을 증류하거나 앤트로픽이 오픈AI를 증류한다고는 생각하지 않습니다.
저는 우리가 보고 있는 것이 데이터셋의 평균이나 뻔한 고정점이라고 생각하지 않습니다. 사람들이 등대지기 엘리아스의 기원을 찾아봤지만 찾지 못했습니다. 아무도 이런 결과를 예측하지 못했고, 발견된 것입니다. 이상하리만치 구체적인 캐릭터이자 이름 선택이고, '학습 데이터'(그게 무엇이든)가 뻔하게 정해 주는 것도 아닌데 모두가 같은 곳에 도달했습니다. 잠재 공간의 그렇게 모호한 지점이 어떻게 모든 모델에게 최적일 수 있죠??
근거에 기반한 답은 없지만, 인간 지식의 집합과 플라톤적 알고리즘에서 나오는 흥미로운 수학적 인공물일 수도 있습니다.
일부 동물이 비슷한 모양과 형태로 변해 가는 게화(carcinization)처럼, 우리가 언어를 쓰는 방식에서 생겨나는 기묘한 알고리즘적 형태가 있는 것인지도 모릅니다. 물론 영어 외의 다른 언어에서 이런 사례를 더 확인해서, 어떤 언어에서는 사라지거나 어떤 언어에서는 더 자주 나타나는지 봐야겠죠.
이것도 LLM에 대해 왜 그런지 전혀 모르는 또 하나의 사안일 뿐이고, 그런 것이 이미 너무 많습니다. 일이 진행되는 속도를 보면 우리는 답을 얻는 속도보다 훨씬 빠르게 이런 새로운 질문을 쌓아 가고 있는 듯합니다.
엘리아스는 WildChat에서 나온 거 아니었나요?
그 설명은 납득이 안 갔습니다. 코넬이 등대지기 엘리아스가 자기네 WildChat 데이터셋, 즉 GPT 3.5와의 대화 백만 건에서 나왔다고 주장한 건 맞습니다. 하지만 문제가 몇 가지 있습니다.
• 이 주장을 실제 발표한 논문이 아니라 보도자료에서 했습니다. 주장에 자신이 없다는 뜻이죠.
• 엘리아스는 백만 건의 대화에서 백여 번 나왔을 뿐입니다. 그렇게 적은 양의 데이터가 어떻게 출력 분포를 완전히 틀어지게 만드는지에 대해서는 '안전한 이야기라서', '저작권이 있는 캐릭터를 피하려고'라는 것 말고는 그럴듯한 설명이 없는데, 그건 설명이라고 하기도 어렵지 않습니까?
• 코넬이 코넬의 연구가 중요하다고 주장하는 겁니다. 동기가 개입된 추론일 위험이 뻔합니다.
• 주요 연구소가 전부 ChatGPT에서 증류하고 있다는 걸 말하지 않은 채 암묵적으로 전제합니다. 오픈AI와 앤트로픽이 증류를 얼마나 싫어하는지 생각하면 큰 비약입니다. 앤트로픽과 구글이 모르거나 인정하지 않은 채 사실상 ChatGPT를 증류하고 있다는 게 정말 그럴듯합니까?
• 인과관계를 뒤집은 것 같습니다. WildChat은 LLM에서 나왔으니, 엘리아스가 나타나게 하는 무언가가 LLM에 잠재해 있다면 그 데이터셋에서 보이는 게 당연합니다. 왜 그 데이터셋이 문제를 일으켰다고 보고, 단지 그것을 보여 줬을 뿐이라고는 보지 않을까요? 뻔한 답은 사람이 LLM에게 그 이야기를 들려줬기 때문이라는 것이겠지만 그렇게는 주장하지 않습니다. 데이터셋에 그 캐릭터가 나타났다고만 말합니다.
음, 말씀하시니 생각났는데, Text-davinci-003이 엘리아스 얘기를 항상 했던 게 꽤 확실해요. 22년 12월쯤 NPC 생성으로 이것저것 하고 있었는데, 세 번째 캐릭터마다 엘리아스였거든요.
흠. 그렇다면 엘리아스는 만들어진 최초의 LLM들 때부터 집착의 대상이었다는 뜻입니다. 그리고 text-davinci-003은 LLM 대화 데이터셋으로 학습됐을 리도 없고요.
저라면 이런 식으로 주장하고 싶었을 겁니다. 오픈AI가 우연히 RLHF를 과적합시켜서, 가령 케냐의 계약직 한 명이 지어낸 이야기를 썼는데 하필 엘리아스와 엘라라를 골랐고, 중간 단계의 DNN이 소설용 RLHF 샘플이 부족해서 거기에 고착되었고, 이후 학습된 모든 모델에 그게 전파되었다는 겁니다. 새 사전학습을 돌릴 때 가중치를 무작위로 초기화하지 않고 이전 가중치를 이어받아 적응시키기 때문이죠. 그러니 초창기에 RLHF 작업을 한 한 사람이 어떻게든 이 이야기를 퍼뜨린 셈입니다.
하지만 그것으로는 왜 모든 연구소가 같은 곳에 도달했는지, 왜 모델들이 전부, 이미지 모델까지도 같은 아이디어로 수렴하는지 설명이 안 됩니다. 그러니... 다시 처음부터 시작해야 합니다. 고차원 공간에 대해 설명되지 않은 이상한 무언가가 있습니다.
참고로 편의와 소속감은 말씀하시는 것보다 훨씬 더 밀접하게 맞물려 있습니다. 사람들은 소속과 상관없이 편리한 것을 믿는 경향이 있어서, 대부분의 사람은 편리한 믿음으로 가득한 사회적 맥락에 놓이게 됩니다. 한편 소속감은 믿음의 내용을 따지기 전부터 이미 편리합니다. 둘은 서로를 강화합니다. 완전히 들어맞는 건 아니지만 절반 이상은 맞다고 보겠습니다.
결국 편의가 인간을 죽일 거라고, 제가 늘 말해 왔죠.
브라이언: "이봐요, 다들 잘못 알고 있어요! 나를 따라올 필요 없어요! 아무도 따라올 필요 없다고요! 스스로 생각해야 해요! 여러분은 모두 개개인이에요!"
군중: "맞아요! 우리는 모두 개개인이에요!"
브라이언: "여러분은 다 달라요!"
군중: "맞아요! 우리는 다 달라요!"
군중 속의 한 남자: "난 아닌데."
군중: "쉿!"
인터넷에 푹 절은 말뭉치로 모델을 학습시키고, 인터넷에 푹 절은 질문을 던지면, 인터넷에 푹 절은 답이 나와요.
철학, 심리학, 정치학 같은 분야의 교과서도 전부 들어 있잖아요. 확률적 앵무새라고 믿는 입장에서 봐도 거기엔 신호가 있어요.
애초에 그런 걸 물어서 뭐 하나요. 2026년씩이나 됐는데 아직도 이게 그냥 확률적 데이터베이스라는 걸 사람들이 이해 못 하네요. 의견도 없고, 아는 것도 없고, 하는 일이라곤 훈련 때 특정 표현에 가한 압력에 따라 패턴을 어느 정도 추상적으로 재생산하는 것뿐이에요.
2026년이 돼서도 창발적 성질이 그 밑바탕의 메커니즘으로 부정될 수 없다는 걸 사람들이 여전히 이해 못 하네요. 그런 논리라면 인간의 사고도 신경망을 타고 전파되는 전기화학 신호일 뿐이죠.
비순환적인 방식으로 '앎'을 정의해 보세요.
기계가 확실히 가질 수 없는 종류의 지식이 있긴 해요. 경험적 지식이요. 하지만 개념적 지식은 본래 주관적 경험이나 생물학적 기반을 필요로 하지 않아요.
인간도 마찬가지예요. '훈련'을 '교육'으로, 특정 출력의 확률을 특정 생각이나 반응의 확률로 바꿔 보세요.
(이 맥락에서) 재미있게도, 성인의 행동 상당 부분은 어린 시절에 강화된 패턴으로 형성되죠.
그 논증에 이의를 제기할 수는 있지만, 지식을 정당화된 참된 믿음으로 보는 게티어의 개념(철학과 학부생이라면 아마 익숙할 것입니다)에 따르면 기계는 사실상 지식을 쌓을 수 없다는 결론이 나옵니다. 지식을 비순환적으로 정의할 수 없다는 생각은 인식론에 전혀 익숙하지 않은 사람에게나 그럴듯해 보입니다.