요약
피터 노빅은 언어가 본질적으로 확률적이라며 촘스키의 통계 모델 비판을 반박합니다.
언어학자 노엄 촘스키는 2011년 MIT 150주년 심포지엄에서 통계로 데이터를 흉내만 내는 기계학습 연구를 비판했습니다. 인공지능 연구자 피터 노빅은 이 발언을 하나하나 반박하려고 이 글을 썼습니다.
왜 중요한가
- 데이터를 정확하게 맞히는 모델과 원리를 설명하는 이론 가운데 무엇을 과학의 성공으로 볼지를 정면으로 묻습니다.
- 대규모 언어 모델(LLM)이 나오기 전에 쓴 글이지만, 통계 모델이 언어를 익힐 수 있느냐는 지금의 논쟁과 그대로 이어집니다.
핵심 내용
- 검색, 음성 인식, 기계 번역, 질의응답 같은 언어 처리 분야는 이미 통계 모델이 압도적으로 지배한다고 했습니다.
- 새 문장은 확률이 0이 된다는 비판에는 스무딩(본 적 없는 경우에도 작은 확률을 나눠 주는 기법)이 표준이라고 답했습니다.
- 촘스키의 예문 'Colorless green ideas sleep furiously'도 단어를 거꾸로 놓은 문장보다 1만 배 넘게 그럴듯하다고 계산해 보였습니다.
- 레오 브레이먼의 '두 문화'(단순한 모델 대 복잡한 알고리즘) 구분으로 보면 촘스키는 단순한 이론을 위해 실제 언어 사용을 외면한다고 했습니다.
- 언어는 진화와 문화 변화가 우연히 빚은 산물이라서 이상적 형식보다 확률 모델이 더 잘 맞는다고 결론지었습니다.
HN 반응
- 노빅이 공학과 과학을 혼동한다는 지적에, 통계로 잘 설명된다는 사실 자체가 증거라는 반론이 맞섰습니다.
- LLM이 아이보다 훨씬 많은 데이터를 쓴다는 점을 두고 타고난 언어 능력의 근거라는 쪽과 공정한 비교가 아니라는 쪽이 갈렸습니다.
노빅(과 촘스키)은 서로 다른 얘기를 하고 있습니다.
노빅은 공학과 과학을 혼동합니다. 공학자가 제대로 작동하는 무언가를(그리고 작동을 보장하는 무언가를) 원한다면, 그 목표를 이루는 데 가장 효과적인 도구를 쓰면 됩니다. 거기까지는 아무 문제가 없습니다. 하지만 그렇다고 해서 모델링하는 현상에 대해 과학적으로 뭔가를 알려 준다고 볼 근거는 전혀 없습니다. 예를 들어 항공공학은 새가 어떻게 나는지에 대해 거의 말해 주지 않습니다. 그리고 요즘 시의성이 있는 얘기로, LLM은 언어를 사용하고 이해하도록 학습하지만 아이보다 수백만 배 많은 학습 데이터와 수백만 배 많은 연산 능력을 씁니다. 그러니 LLM은 훌륭한 기술일 수는 있어도, 인간이 언어를 배우고 쓰는 방식의 모델로는 아마 적절하지 않을 겁니다.
반면 촘스키는 과학에서, 적어도 언어학에서는 통계가 쓸모가 있다고 보지 않습니다. 다행히 언어학계에서는 촘스키의 영향력이 줄어들고 있고, 언어학자들도 과학을 하는 데 통계 도구를 쓰기 시작했습니다.
저는 노빅이 혼동하고 있다고 보지 않습니다. 글 맨 앞에서 이 점을 명시적으로 다루고 있거든요.
노빅의 주장은 통계적 방법으로 시스템을 성공적으로 만들어 냈다면, 그 시스템 자체가 통계적이라는 가설을 뒷받침하는 증거가 조금은 생긴다는 겁니다.
증거의 무게를 제대로 따져 보기만 한다면 이건 분명히 맞는 말입니다.
아니요, 증거는 그렇게 작동하지 않습니다. 어떤 시스템을 방법 X로는 정확하게 모델링할 수 있는데 방법 Y로는 작동하는 모델을 만들어 내지 못한다면, X가 실제 물리적 모델일 가능성이 더 높다(확실하진 않지만)고 봐야 합니다.
그리고 실제로 현대 인지과학(예측 처리 이론을 보세요)에도 뇌가 규칙 엔진이 아니라 계층적 예측기라는 증거가 많이 있습니다.
말씀하신 점들에 답하자면, 비행기는 새의 모델 생물이 아니지만 추력 대 중량비처럼 새가 따를 수밖에 없는 한계에 대해서는 통찰을 줍니다. 그리고 표본 효율성 논거는 이제 그만 나와야 합니다. 사람의 뇌는 극도로 복잡한 사전 지식(prior)을 안고 태어납니다. LLM은 아주 단순한 구조와 어텐션 같은 몇 가지 단순한 알고리즘만 갖춘 채 거의 아무것도 없는 상태에서 사전학습을 시작하고, 인지의 기본 구조를 처음부터 배워야 합니다. 더 나은 기준선은 뇌가 생겨난 이래 우리 유전적 조상 가운데 뇌를 가진 모든 동물이 처리한 표본의 수일 겁니다.
이 부분을 좀 더 설명해 주실 수 있나요?
방사성 붕괴를 통계적이지 않은 과정으로 모델링해 보세요. 지금 우리가 아는 최선의 이해가 통계적인 것이니, 거의 틀림없이 실패할 겁니다.
동전 던지기를 예로 들려다가, 그건 딱 같지는 않다는 생각이 들었습니다. 카오스 계는 대체로 그렇게 모델링하는 게 최선이고, 그 계가 다른 것들에 미치는 영향이 궁금한 거라면 초기 상태를 측정하는 게 불가능하니 더 잘하기는 어려울 것 같습니다.
통계 말고 다른 언어로 표현해 보세요. 못 할 겁니다. 다른 언어를 아직 발명하지 않았으니까요. 만들 수야 있겠지만 통계의 문법과 의미론이 이렇게 어디에나 퍼져 있는데 굳이 그럴 이유가 없죠.
수학은 물리학이 아니고 물리학은 수학이 아닙니다. 슈퍼맨 이야기를 쓴다고 해서 그 언어와 그림이 물리학을 나타내는 건 아니듯이요.
여기서 짚으려는 차이가 바로 그겁니다. 통계는 중력과 전자기력의 증거가 아닙니다. 그 힘의 영향을 받는 물질에서 나타나는 물리 현상이, 곧 국소 중력에 상대적인 값이고 전자기장이 우리의 증거입니다.
1960년대 인구통계는 불변의 물리 현상을 포착한 게 아니었습니다. 엔트로피 -> 세대 교체 -> 그 사람들은 이제 죽고 없으니까요.
언어는 중요하지 않습니다. 어떤 근본적인 진실을 전달하기 위한 수단일 뿐이에요.
사회 변화를 막으려고 금융과 정치에 관한 신중한 통계 기법으로 사회를 과거에 묶어 두는 것은 과학적 결론이 아닙니다. 30~40년 전을 우리 사회 우주의 중심으로 삼을 이유가 없어요.
통계를 소비할 때 걱정스러운 건, 중력이나 전자기력 같은 근본 진실이 계속 변해 왔다는 사실은 무시한 채, 결과를 영원불변의 결론인 양 받아들이고 돌아선다는 점입니다. 과거의 진실은 우리의 다음 선택에 더는 중요하지 않은데도요.
저도 동의합니다. 그런데 언어를 확률적으로 생성하는데 알아볼 수 있는 형태의 지능이 나온다는 건 으스스할 정도로 신기해요.
대학 시절에 저는 인간 설문을 토대로 언어 개념을 의미적으로 매핑하는 인지과학 연구에 조금 관여했어요(LLM이나 AI, word2vec이 나오기 한참 전이었습니다). 그런데 지금 와서 보니 관련성과 거리라는 수학적 성질이 기계 지능을 이끄는 것 같아서 놀라워요. 그때는 전혀 생각지도 못한 일이었거든요.
제가 형이상학적이고 감상적인 단계에 접어든 건지도 모르겠어요. 많은 사람이 중년이 지나면 그쪽으로 기우니까요. 그래도 둘 사이에 어떤 등가성이 있을 수 있다는 점을 완전히 무시하고 싶지는 않아요.
그러게요. 단순한 통계가 이런 걸 해낼 줄 누가 알았겠습니까? 정말 대단하다고 인정할 수밖에 없습니다. 어쨌든 제대로 작동하게 만들었으니까요.
LLM을 얼마나 효과적으로 축소할 수 있는지에 대한 꽤 흥미로운 연구도 있습니다(제 생각엔요). 관심이 있으시다면 BabyLM 학회를 한번 보세요.
https://babylm.github.io/
(저는 이들과 아무 관련이 없습니다.) 여기서 나온 연구는 사람이 접하는 정도의 학습 텍스트로 지금 할 수 있는 것과 앞으로 알아내야 할 것 사이의 간극을 보여 줍니다. 보아하니 상당히 큽니다.
"단순한 통계"야말로 물리적 현실이 작동하는 방식이에요. 언어나 문법을 말하는 게 아닙니다.
질량이 충분한 물체에 상대적인 중력의 영향이 변하는 것, 그런 식의 비율은 어디에나 있다는 말입니다.
수학이라는 언어는 그런 비율을 그려 내는 시각 예술로 시작됐어요. 요즘은 이런 근본 진실의 연관성을 흔히 간과하고, 직접 부딪혀 보지 않으면 그런 게 있다는 사실조차 아예 모르고 지나가죠.
의학의 감별 진단도 완전히 같은 과정입니다. 이런 과정과 그 성공 사례는 어디에나 있어요.
소프트웨어에서 문제는, 환자의 눈에 채혈 바늘을 찔러 넣는 것처럼 결과가 뻔히 보이지 않는다는 겁니다. 그래서 우리는 허상 같은 필요 때문에 시간을 많이 낭비했어요.
"단순한 통계"라는 말은 트랜스포머 아키텍처가 하는 일을 심하게 깎아내리는 표현입니다. "단순한 이온 채널"이 인간의 뇌를 바라보는 합당한 방식이라고 생각하시는 게 아니라면요.
인간 언어를 충분히 잘 구사하면서도 지적으로 들리지 않을 수 있을까요? 구문적으로만 맞는 걸 말하는 게 아닙니다. 의미론도 인간 언어의 일부니까요. 놀라운 점은 언어를 이만큼 잘 모델링해 냈다는 사실이라고 생각합니다. "Please"라는 단어의 기능을 이해하지 못한 채 영어를 배우려는 것과 비슷하죠.
제 생각에 우리가 인간에게 본래 부여하는 지능의 상당 부분은 인간의 언어 속에 들어 있고, 음식 속 영양소처럼 잠재적인 지능을 품은 언어를 활용하면 여러분도 지적인 사람처럼 행동할 수 있습니다. 그렇다면 지성의 영양소는 애초에 어떻게 거기에 들어갔을까요? 오늘날 언어가 진화하는 방식과 같습니다. 화자들이 오랜 시간에 걸쳐 기여한 결과죠. 토양에 비료를 주는 것과 크게 다르지 않습니다.
그리고 언어 자체도 복잡한 주관성 때문에 아주 '확률적'이죠. 모든 단어는 개인의 선택이라는 변화무쌍한 바다 위에 떠 있습니다.
예를 들어 당신의 글을 제가 이렇게 다시 쓴다면요.
--
"좋은 글에는 무수한 인간이 오랜 세월에 걸쳐 서서히 진화시킨 지성이 담겨 있다. 그래서 LLM이 그런 글을 만들어 내는 것을 보면 놀랍다. 하지만 곧 깨달았다. 그 지성은 LLM이 만들어 낸 것이 아니라, LLM이 통계적으로 배열하는 인간이 진화시킨 입력 데이터셋, 곧 글 자체에 이미 들어 있던 것이다."
--
..언어의 세부는 완전히 다르고(당신이 고른 뉘앙스도 일부 빠졌지만) 대부분의 독자는 여기서 같은 "핵심 진실"을, 같은 분량의 유익한 정보를 얻을 겁니다.
이는 언어의 엄청난 유동성을 보여 줍니다. LLM이 번성할 수 있게 하는 또 다른 핵심적인 근본 메커니즘이기도 하고요.
언어를 쓰는 과정의 확률성과 언어가 진화하는 과정의 확률성은 구별해야 한다고 생각합니다(둘이 독립적이지 않으니 깔끔하게 나뉘지는 않지만요). 언어는 대화 속에서 쓰이면서 진화하므로 확률적으로 진화합니다. 하지만 대화가 무작위일 뿐 대화에 따라 갱신하는 함수는 결정론적일 수도 있겠죠. 그래도 저는 언어를 쓰는 과정 자체에도 확률성이 있다고 봅니다. 저는 단어를 고르고, 되돌아가 지우고 다시 쓰고, 듣는 사람이 시큰둥한 표정으로 보면 다른 식으로 다시 설명하니까요. 다만 유동성이 진화의 확률성을 증명한다고도, 그 반대라고도 보지 않습니다. 오히려 이 상호작용이 꽤 흥미로운 분야라고 생각합니다.
완전한 논증이라고는 할 수 없지만, 제 생각에 아주 두드러지는 점은 '억양'이라는 개념입니다. 억양은 언어에서 가장 눈에 띄는 어원적 변이이고(인접한 문화 사이의 언어 간 차이를 만들어 냅니다), 인간뿐 아니라 동물의 세계에도 있습니다. 그 바탕은 무엇일까요? 집단 안에서 가장 지배적인 화자(들)의 악안면 표현이 그들의 음성 억양을 빚고, 그것이 사회적 효과로 더 넓은 문화에 퍼지는 겁니다.
어쨌든 언어의 유동성은 어느 정도 자명합니다. 우리가 비유적 표현이라고 부르는 개념 전체에 그것이 부분적으로 구현되어 있어요(같은 말도 문자 그대로일 수도, 비꼬는 것일 수도, 은유로 설명될 수도 있죠). 사전이 많은 단어에 여러 정의를 싣고 있다는 흔한 현실에도, 동의어가 (많이) 존재한다는 사실에도, 그리고 순전히 인간의 개성에도 부분적으로 구현되어 있고요.
웃기게도 저는 문학 교수들이 텍스트의 의미는 저자가 아니라 독자가 만들어 낸다고 말하면 완전히 헛소리라고 생각하곤 했어요.
LLM이 흔해진 뒤로 그 생각이 완전히 뒤집혔습니다.
확률적 생성의 출력에서 알아볼 수 있는 지능을 보는 건 당신이 거기에 의미를 부여하고 있기 때문이에요. "클로드체(claudish)"가 그렇게 읽기 힘든 것도 그래서고요. 확률적으로 생성된 단어 나열에 의미를 부여하려 하니, 그러려면 정신적인 노력이 드는 거죠.
저는 그렇게까지 확신하지 못하겠습니다.
Claude가 (기계가 검증할 수 있는) 형식적 수학 증명을 쓰거나 제대로 작동하는 소프트웨어를 작성한다면, 의미를 부여하는 독자의 머리는 어디에 있나요?
저는 이 분야 전문가는 아니지만, 직관적으로는 대체로 같은 느낌이에요... 우리가 "claude"라고 보는 캐릭터는 대부분 우리 머릿속에 있는 거죠. "슈퍼 러버덕" 현상 같은 거랄까요.
이 이론이 정확히 무엇을 설명하거나 밝혀 주는지 모르겠습니다. 포스트모더니즘 철학자들은 독자를 고생시키는 글을 쓰기로 악명이 높죠. 그렇다고 "푸코체(Foucault-ese)"가 "클로드체(Claudese)"보다 더 확률적으로 생성된 글이라는 뜻은 아닐 텐데요.
냉소적인 사람이 보기에 촘스키주의는 토머스 쿤이 경고한 바로 그 "정상 과학"입니다.
변형 문법 패러다임 안에서는 끝없이 연구비를 신청하고 논문을 쓸 수 있습니다. 그 체계 안에서 말이 되는 질문을 던지고 답할 수 있고요.
촘스키주의는 두 가지 점에서 실망스러웠습니다. (1) 기계가 텍스트를 이해하는 토대로는 부족했다는 것, (2) 구조주의자들은 문화의 모든 것을 "... 언어의 구조를 가진 것"으로 이해할 수 있기를 바랐지만 통사 구조로는 그 일을 감당하기에 전혀 충분하지 않았다는 것입니다.
(1)과 (2)는 모두 촘스키주의가 폐쇄적이어서 다른 분야에 정말 유용하거나 영감을 주지 못했고, 어쩌면 조금 덜 "참"일 수도 있다는 점을 가리켰습니다.
사실 지난 70년간 언어학에서는 패러다임 전환(또는 전환 시도)이 여러 차례 있었습니다. 언어학의 독특한 점은 그 모든 것이 같은 핵심 인물의 생애 안에 압축되어 있다는 겁니다.
또 생성문법에는 자연어 통사에 관한 경험적 지식이 많이 쌓여 있다는 점도 말씀드리겠습니다. 이론적 기반의 세부는 정확히 맞지 않더라도요. 그리고 그중 상당수는 누군가가 찾는 법과 특징을 짚어 주기만 기다리던 "손쉬운 과제"였습니다. 촘스키가 그 일을 했다는 것이야말로 그의 지적 가치를 보여 주는 가장 좋은 논거입니다. 그 모든 "정상 과학"이 일어날 수 있게 해 줬으니까요.
과학이 맞든 틀리든, 과학이 기술적 응용을 보장하지는 않습니다.
마지막으로 한마디만 하자면, "촘스키주의" 같은 단어를 쓰면 진화론을 "다윈주의"라고 부르는 창조론자들처럼 들립니다.
그럼 "창조론"이라는 말을 쓰면 그들이 "다윈주의"라고 부르는 것을 인정하는 셈이 되니 쓰지 말라는 건가요?
이건 완전히 오류입니다... 촘스키에 "주의"를 붙이는 것의 함의를 어떻게 해석하셨든 그건 얼마든지 이견을 낼 수 있지만, 그게 다윈에 "주의"를 붙이는 것과 같다는 뜻은 결코 아닙니다. 두 경우는 각각 별개이고 그 타당성도 서로 독립적이에요.
참고로 그런 접미사에서 폄하하는 뜻을 읽어 내는 것도 문화적 해석입니다. 예컨대 "다윈주의"를 중립적으로 보는 건 미국 진화생물학자보다 영국 진화생물학자 사이에서 훨씬 흔하고, 도킨스만 해도 이 용어를 쓰며 스스로를 다윈주의자라고 설명합니다. 예를 들어 https://www.edge.org/conversation/richard_dawkins-chapter-3-a-survival-machine 를 보세요.
아이러니하게도 (1)은 지금 처참하게 죽어 가는 중인데, (2)는 문화와 정치에 미치는 영향력이 정점에 있습니다.
공식적으로 구조주의는 통사 구조가 나올 무렵 위기를 맞았고 그 뒤 후기구조주의로 변모했습니다. 후기구조주의는 끝없는 포스트[n]-모더니화를 거쳐 지금은 뭔지 모를 무언가가 됐고요.
네, 이게 제가 학계 시스템에 대해 갖고 있는 비판 중 하나입니다(저는 박사 과정을 마쳤고 다시는 대학에서 일하지 않기를 바랍니다). 많은 논문이 서론에서 이 연구가 수많은 선행 연구 위에 서 있다고 설명하며 시작하지만, 그것만으로는 그게 조사할 만한 좋은 방향이라는 증명이 되지 않습니다. 학자들이 완전히 솔직하다면 많은 논문은 이렇게 쓸 겁니다. "우리는 X 주제로 연구비를 받았기 때문에 X를 연구했다. 하지만 사실 X에는 관심이 없어서, 공저자 중 한 명만 관심 있는 우리가 좋아하는 틈새 주제 Y에 대한 제안서를 X처럼 들리게 써서 냈다. 이제부터 Y가 사실 아주 멋지다는 것을 보여 주고, 그럼으로써 다른 사람들도 그렇게 생각하도록 설득하려 한다. 아울러 우리의 가장 높은 교수님이 30년 전 박사 과정에서 이미 찾아낸 결론도 설득하려 한다. 그 교수님을 빼면 우리는 이 논문의 핵심 주장을 믿지 않지만, 그분이 연구비를 따냈으니 일단 따라간다. 언젠가 우리 아이디어를 밀어붙일 수 있기를 바라면서."
촘스키가 무슨 근거로 버틸 수 있는지 모르겠습니다.
제게는 여기가 논점이 뒤집히는 대목입니다. 지금 우리에게는 믿기 어려울 만큼 그럴듯한 언어를 생성하는 확률 모델이 있습니다. 언어를 통계적으로 해석하는 것의 가치에 관한 노빅의 이어지는 주장은 부차적인 것이 됩니다.
현실에 닻을 내리고 있으려면 우리의 모델은 증거에서 도출되어야 합니다. 최신 모델들이 언어를 생성한다는 증거를 보여 준다는 것을 부정하려면 기이한 고집이 필요하다고 생각합니다.
그 모델들이 언어를 배우는 데는 아이들보다 몇 자릿수 더 많은 데이터가 필요하고, 아이들은 음성을 직접 분절해야 하니 과제도 더 어렵습니다.
그 점은 훨씬 더 많이 알아내야 할 부분이라는 데 동의합니다. 하지만 언어를 배우는 데 사람 아이의 뇌가 필수인 것 같지는 않고, 증거도 그것을 뒷받침한다고 주장합니다.
문제는 "신경망이 인간의 뇌와 똑같은가?"가 아닙니다. "통계 모델이 언어를 생성하고 이해할 수 있는가?"입니다.
지금 논의 중인 실제 질문의 답은 단호한 예스로 보입니다. 촘스키가 주장한 것처럼 언어 학습이 타고난 것은 아닌 듯합니다.
사람 아이만큼 효율적으로 언어를 배우려면 우리가 아직 발견하지 못한 어떤 타고난 속성이 필요할 수는 있겠죠. 하지만 그건 골대 옮기기의 완벽한 예입니다. "뇌에는 언어를 배울 수 있게 하는 특별한 무언가가 있고, 그건 통계적으로 재현할 수 없다"에서 "뇌에는 언어를 효율적으로 배울 수 있게 하는, 통계 모델보다 더 효율적으로 배우게 하는 특별한 무언가가 있다"로 넘어가는 거니까요.
신생아의 뇌는 백지가 아닙니다. (촘스키 본인도 주장하듯) 아주 풍부한 사전 지식을 갖고 있어요. 예컨대 언어를 빠르게 습득하고 몸을 제어하는 능력 같은 것들이죠.
LLM은 사전학습 동안 문법 구조와 세계 모델 등 모든 것을 처음부터 구축해야 합니다.
LLM 사전학습은 아동 발달보다는 포유류 뇌의 진화를 되풀이하는 것에 더 가깝습니다.
물론 아이들이 백지 상태는 아닙니다. 제 요점은 LLM이 보편문법(UG)에 반하는 논거가 아니라는 겁니다.
아이들이 언어를 배우는 환경은 멀티모달이고 아주 풍부하기 때문에 비교가 그렇게 단순하지 않습니다. 아이들은 단어의 나열뿐 아니라 행동, 감정, 사회적 상호작용, 물리적 세계에도 노출되니까요.
본인은 깨닫지 못하셨더라도 방금 상황을 설명하셨다고 생각합니다.
LLM이 언어를 배우는 데 수백만 배 많은 텍스트 데이터를 처리하고 수백만 배 많은 연산 능력을 쓰는 건 대부분 우리가 기술적으로 그 방법을 알기 때문입니다.
아이들은 텍스트 데이터는 훨씬 적게 쓰지만, 다른 사람들과 상호작용하는 것을 포함해 다른 종류의 데이터를 많이 씁니다. 그게 어떻게 작동하는지 우리는 모릅니다. 게다가 사람은 여러 종의 반려동물과도 아이들과 같은 방식으로 상호작용할 수 있지만, 그 동물들은 언어를 배우지 못합니다.
그러니 아이들은 할 수 있는데 LLM과 강아지는 못하는, 이상한 무언가가 벌어지고 있는 겁니다. 아마 일부는 인간 아이가 어른들이 하는 것을 따라 하며 배우는 데 훨씬 능하기 때문이고, 일부는 인간이 언어를 배우고 쓰도록 진화했기 때문일 겁니다. 거기서 무슨 일이 벌어지는지 그 세부를 밝히는 것이 바로 언어학입니다.