요약
오픈AI가 낸 분할 원리 증명 논문은 전문가도 읽어 낼 수 없는 수준이라는 비판입니다.
선택 공리를 15년 넘게 연구해 온 수학자 아사프 카라길라가 자기 블로그에 쓴 글입니다. 오픈AI가 분할 원리(집합을 나눈 조각들의 모임은 원래 집합보다 크지 않다는 명제)에서 선택 공리가 따라 나오지 않는다고 발표하자, 그는 함께 나온 논문을 직접 살펴봤습니다.
왜 중요한가
- 100년 넘은 문제를 풀었다는 주장이 나왔지만, 이 분야 전문가조차 증명의 전략을 파악하지 못했습니다.
- 오픈AI가 수백 편의 '풀이'를 한꺼번에 내놓아 검증 부담을 수학자에게 떠넘겼다고 봤습니다.
- 연구비를 정하는 사람들이 이를 보고 수학자를 AI로 바꿀 수 있다고 오해할까 걱정했습니다.
핵심 내용
- 논문은 구조가 이상하고 용어가 어긋나 학술지라면 심사 전에 편집자 선에서 반려될 수준이라고 평가했습니다.
- 결과가 틀렸다고 하지는 않았지만, 알아듣게 쓸 책임은 언제나 저자에게 있다고 했습니다.
- 출판된 논문에 있는 명제를 심사도 거치지 않은 강의 노트 세 편 이상으로 인용하는 등 참고문헌도 엉성하다고 짚었습니다.
- 보도자료는 '진전'이라 하고 언론은 '해결'이라 부르는 상황을 두고 양쪽 이득을 다 챙긴다고 꼬집었습니다.
- AI 기업이 수학계 기준에 맞추지 않고 자기 기준을 강요한다며, 문제 목록에 걸었던 위스키도 샘 올트먼에게 보내지 않겠다고 했습니다.
HN 반응
- 그래도 새 결과를 들여다봐야 한다는 의견에, 연구자는 바쁘고 논문 정리 비용은 자원이 넘치는 오픈AI가 대야 한다는 반론이 맞섰습니다.
- 한 대학원생이 9월 ChatGPT에 올린 초고와 증명 전략·표기가 똑같은 논문을 오픈AI가 냈다는 주장이 공유되며 표절 의혹도 불거졌습니다.
네, 전반적인 상황이 별로인 건 맞고, 수학계 전체가 지금 격동기를 겪고 있습니다.
하지만 특정 문제의 전문가로 꼽히는 수학자들이 그 문제에 관한 획기적인 결과를 들여다보려 하지 않는 것도 별로입니다. 위 2번은 그 결과가 어디서 나왔든, 받아들이기가 얼마나 어렵든 여전히 참입니다.
스콧 에런슨의 글 "The Mathocalypse"[0]를 읽다 보니, 에런슨이 아내 데이나의 반응을 전하는 대목이 있었습니다. 새로 풀린 결과 중 하나가 그녀가 수십 년간 매달려 온 전문 분야의 문제였다고 합니다.
처음에는 충격을 받고 형식과 문체에 짜증도 났지만, 그녀는 처음으로 Astra를 써서 그 새 결과를 이해해 보기로 했습니다. 에런슨은 댓글에서 그녀가 하루 만에 이해에 상당한 진전을 이뤘고, 심지어 그 내용으로 강연을 하고 싶어 할 수도 있다고 전했습니다!
이런 새 결과를 대하는 태도로는 훨씬 건강해 보입니다.
네, 이 어수선한 시기의 나머지 부분은 다 별로입니다. 그래도 이번 공개분에는 원석 속의 다이아몬드가 분명히 있고, 들여다볼 가치가 있을 겁니다. 저자가 너무 바쁘면 제자 중 누군가가 봐도 되고요. 결국 누군가는 보게 될 겁니다.
[0] https://scottaaronson.blog/?p=10169
이게 단순히 OpenAI가 게으르고 무능해서 연구자들이 보통 스스로에게 요구하는 높은 기준을 일부러 무시하는 문제만은 아니라는 점을 잊지 맙시다.
윤리 위반, 노골적인 연구 부정행위 문제도 있습니다. OpenAI가 (자사 고객인) 다른 사람들의 결과를 가져다 자기 것처럼 내놓는 경우 말입니다.
특히 심각한 사례가 어제 나왔습니다: https://arxiv.org/abs/2610.10072
기계에 정확히 무엇이 들어갔는지 모르니 이걸 어떻게 해석해야 할지 말하기는 어렵지만, 보기에 좋지 않은 건 확실합니다. 그리고 그들이 원래 그런 식으로 일하는 만큼, 이번에도 또 다른 표절 사례일 가능성이 0이 아닌 건 분명하고요.
이번 경우 저자는 대학원생입니다. 그러니까 지금 우리가 보고 있는 건, 하찮은 홍보 자료 하나 때문에 학생의 것을 훔치고 그게 그 학생의 경력에 어떤 영향을 줄지는 신경도 쓰지 않는 회사입니다.
그러니까... ChatGPT를 가치 있는 일에 쓴다면, 난해한 수학 문제 같은 추상적인 것이라 해도, 언젠가 OpenAI가 그걸 학습 데이터에 넣어서 다른 사람들에게 팔아먹을 거라고 생각해야 한다는 거네요.
네, 그렇게 가정해야죠.
그런데 이번 건은 훨씬 더 나쁩니다. 청룽 마가 논문을 ChatGPT에 올린 2026년 9월 8일부터 OpenAI가 "동일한 증명 전략과 구체적인 표기 선택"(마)을 담은 논문을 공개한 10월 6일까지, OpenAI가 이 데이터로 "학습"했을 가능성은 없습니다. 한 달이잖아요. 모델 학습에 걸리는 시간이 아닙니다.
그렇다면 이건 OpenAI가 (가중치를 조정하는 통상적인 의미로) 사용자 입력으로 학습한다는 뜻이 아니라, 사용자 입력에서 아이디어를 곧바로 끌어다 쓰고 있다는 뜻입니다. 그것도 아주 짧은 시차를 두고요. 이런 일을 막는 통제 장치가 백만 개쯤은 있어야 정상이라고 생각하실 텐데요.
이건 차원이 다른 경고 신호입니다. 청룽이 ChatGPT의 개인정보 설정(학습에 사용하지 않기 등)을 켜 두었는지, 그 밖에 어떤 환경(어떤 요금제인지 등)이었는지 무척 알고 싶습니다. 또 "학습에 사용하지 않기"가 OpenAI의 법률가적 해석으로는 엄밀히 가중치에 한정된 말이고, "여러분의 결과물을 빨아들여서 그대로 뱉어내는 것"까지 포함하지 않을 수도 있다는 점에 유의하세요.
완전히 헛소리입니다. OpenAI는 "사용자 입력에서 아이디어를 곧바로 끌어다 쓰고" 있지 않습니다.
네, 그게 제 강한 기본 전제이긴 합니다. 하지만 마가 보고한 내용과 부딪힙니다. 이 둘을 어떻게 조화시키시겠어요?
실제로 어떤 일이 있었는지 더 많은 정보가 없거나 주장하는 사람을 깊이 알지 못하면 알 수 없습니다. OpenAI가 부적절하게 행동했을 가능성이 충분히 있듯이, 자기 문제가 코앞에서 풀려 버려 (충분히 이해는 가지만) 심하게 공격당했다고 느끼는 연구자들도 가장 공정한 입장은 아닐 수 있고요.
제가 아는 한 OpenAI는 이 주장에 직접 대응하지 않았습니다. 그냥 무시한다면 최악을 가정하는 것 말고 달리 어떤 선택지가 있는지 모르겠네요.
지금 시점에서는 내부 샌드박스가 아주 쉽게 우회되지 않고, OpenAI의 에이전트들이 (최소한) 모든 사용자 계정, 대화 기록, 업로드된 문서를 완전히 읽을 수 있는 게 아니라면 오히려 놀랄 것 같습니다. 물론 그와 별개로, 이 사용자 데이터를 학습에 쓰지 않는다는 OpenAI의 말 자체가 통째로 거짓일 수도 있고요.
연구자들, 그리고 그들이 내놓는 결과물의 질을 지나치게 높게 평가하고 계시네요.
이 정도면 품질과 무슨 상관인지 모르겠네요. 본인 기법에 "바나나 방법"이라고 이름 붙이고 OpenAI가 "바나나 방법"을 발명하는지 지켜보세요.
충격적일 수 있겠지만, 그런 사람들은 수가 아주 적습니다. 제가 아는 연구자 대부분은 늘 뭔가로 바쁩니다. 이런 일 때문에 다른 책임을 내팽개칠 수는 없어요. 증명을 살펴볼 마음이 있다면 자기 시간표대로 천천히 볼 겁니다.
또 하나 생각할 점은 모든 수학자가 미국 출신이거나 연구비가 넉넉한 것은 아니라는 겁니다. 연구책임자(PI)나 대학원생이 월 200달러를 낼 형편이 안 되는 경우도 있습니다.
OpenAI 소속 사람 수학자들의 역할을 과소평가해서는 안 된다고 생각합니다.
이 글이 다룬 건 OpenAI가 내부 전문성을 갖추지 못한 틈새 주제였습니다.
반면 에런슨은 OAI의 추론 담당 리드인 리제 천의 최다 인용 논문의 공저자입니다. OAI는 자사 직원 일부가 이미 잘 아는 UGC(유니크 게임 추측)에 자원을 더 효과적으로 투입했습니다.
https://scholar.google.com/citations?user=T_OhvOsAAAAJ
https://finance.biggo.com/news/B0eMxZsBy4YEFZDUVPWh
맞는 말씀입니다. OpenAI에는 최고 수준의 인재가 있어요. 제 경험으로는 해당 분야 전문가가 모델에서 가장 큰 이득을 봅니다. 훨씬 빨리 작업하고, 틀린 긍정(false positive)을 걸러내고, 모델을 올바른 방향으로 이끌 수 있으니까요.
그들이 결과를 효과적으로 전달하는 데 시간을 조금만 더 들여 주면 좋겠습니다.
공개를 조금도 미루지 말아야 할 타당한 이유가 있습니다.
이것은 전문 수학자들이 많이 쓰는 사이트에서 AI 자문단과 즉각적인 접근에 관한 질문에 달린 가장 인기 있는 답변입니다: https://mathoverflow.net/a/515442/473286
OpenAI의 행태를 둘러싼 논쟁 전체가 사실 헛다리 짚기(red herring)입니다. 수학자들은 (우리 소프트웨어 개발자들도 마찬가지로) 자신의 직업과 일하는 방식을 다시 정의해야 합니다. 수학이 해야 할 중요한 역할이 있다고 믿을 만한 이유는 아주 많습니다. OpenAI 이야기는 그만하고 일로 돌아가기만 한다면 좋겠습니다. 특히 지금 수학자들이 몹시 필요하니까요!
이런 표현은 유독 공허하게 들립니다. 우리는 핵폭탄을 연구하던 2차 세계대전 중이 아닙니다. 모든 걸 내려놓고 OpenAI가 내놓은 분할 원리(partition principle)와 선택 공리(axiom of choice)에 관한 증명을 이해하는 데 매달려야 할 만큼 수학자들이 시급히 필요한 이유가 대체 뭡니까?
제가 언제 "모든 걸 내려놓고" 하라고 했습니까? 저는 한 회사(저도 아주 싫어하는 회사입니다)가 증명을 대량으로 공개한 것을 두고 아쉬워하고 한탄하는 이야기 말고, 수학자들이 자기 미래를 어떻게 그리는지에 관한 이야기를 더 읽고 싶습니다. 그들은 좋든 싫든 이런 증명을 곧 훨씬 더 많이 받게 될 테고, 그게 논의의 중심이 되면 좋겠습니다. 그리고 네, 공개된 증명을 수학자들이 들여다보길 바라기도 합니다. 증명이 날것일수록 더 좋습니다. AI 회사들이 수학자들을 골라 자기네 증명을 멋지게 풀어 쓰게 하기 시작하면, 수학은 아주 엘리트주의적인 학문이 되고 말 겁니다.
누가 그럽니까? 글을 쓴 전문 수학자는 동의하지 않았습니다. OpenAI가 자기네 이유와 이익을 위해 연주하는 곡에 왜 사람들이 춤을 춰야 합니까? 그리고 제대로 된 해설을 쓰는 데 시간과 노력을 들이는 게 어떻게 "아주 엘리트주의적인 학문"이 됩니까? 다른 전문가들이 결과를 이해하고 그 위에 쌓아 올리려면 바로 그 시간과 노력이 필요한데요. 수학을 배우는 데 시간과 노력을 들이는 것을 엘리트주의라고 보시는 게 아니라면 말이죠. 시간과 노력이 드는 모든 일에 대해 AI 홍보꾼들이 한동안 써 온 구호가 바로 그거지만요. 한 분야를 이해하려고 시간과 노력을 들이고, 다른 사람들도 이해할 수 있도록 제대로 된 해설을 쓰는 데 또 시간과 노력을 들이는 것이 "날것 그대로" 다 던져 놓는 것에 비해 "엘리트주의"라는 게 저는 이해가 안 됩니다.
이건 제 의견이었습니다. 다만 "결과를 즉시" 공개하자고 주장하는 사람이라면 그와 비슷한 걸 암시하고 있을 가능성이 큽니다. 화학에서는 말씀하신 상황이 실제로 벌어지는 것 같습니다. 이유는 다르지만요. 연구실들이 소속 과학자들이 논문을 내거나 제품을 개발할 때까지 데이터를 쥐고 있습니다. AI 회사들도 비슷하게 행동할 위험이 실제로 있습니다.
해설을 쓸 사람으로 누가 선택될 거라고 보십니까?
(아마도 미국에 기반을 둔) AI 회사가 자사 최신 내부 모델이 막 뱉어 낸 증명을 누가 풀어 설명할지를 무슨 근거로 정하길 바라십니까?
그 일이 예컨대 나이로비 대학교 수학과에 있는, 야심은 있지만 아직 이름 없는 수학자에게 돌아갈 거라고 보십니까?! 제가 다소 불분명하게 "엘리트"라고 한 말은 바로 이런 뜻이었습니다. 첫 번째 논문에는 언제나 그 분야에서 이미 알려진 수학자의 이름이 실릴 것이고, 십중팔구 그 회사와 같은 나라 사람일 겁니다("우리의 메시지는 ... 당신들은 위대한 미국 기업이니 위대한 미국 노동자를 고용해야 한다는 것이다"). 걱정되지 않으십니까? 수학계의 누구나 새 증명에 대한 첫 논문을 쓸 기회를 가진다면 좋겠다고 생각하지 않으십니까?
수학에는 결과 자체가 중요한 분야가 있습니다. 지금 우리가 보는 건 그런 게 아닙니다. 분할 원리가 선택 공리를 함축하는지 아는 것은 후속 지식이나 의사결정에 의미 있는 영향을 주지 않습니다. 이런 기초적인 문제에서는 영리한 증명 기법과 그 둘레의 해설이 말 그대로 핵심입니다. 그게 없으면 사람이든 AI든 이 슬롭(slop)에서 쓸모 있는 걸 끌어낼 수 없습니다.
AI가 그걸 할 수 있다면 좋은 일이죠. 저는 엘리트주의냐 아니냐는 신경 쓰지 않고, AI가 수학을 넘겨받는 것도 괜찮습니다. 다만 AI는 아직 그걸 해내지 못했습니다. 적어도 아직은요.
근본 문제는 OpenAI 같은 곳들이 한 분야와 관계를 맺는 방식이 생각이 없다는 겁니다.
OpenAI에는 자원이 있습니다.
그런데 (공개하는 게 회사 홍보상 우선순위인 듯한) 프리프린트 논문들을 정리하는 데 그 자원을 충분히 쓰지 않아서, 목표로 삼은 분야가 그걸 소화하고 다룰 수 없게 만든다는 건... 막돼먹은 짓 아닌가요?
메타나 알파벳이 인간 검수자를 더 못 뽑는 거냐 안 뽑는 거냐 하는 문제와 똑같은 구도입니다.
OpenAI는 자기들에게는 무시해도 될 만한 급여 수준으로 박사과정 학생과 수학자를 잔뜩 고용해서 증명과 논문을 정리하게 할 수 있습니다.
그렇게 하지 않는 건 경영진의 선택이고 재무적 선택입니다.
저는 AI 회사가 "프리프린트 논문을 정리"할 사람을 정하는 건 원하지 않습니다. 그 일은 대학의 수학자들이 계속 맡아야 하고, 저는 그 비용을 제 세금으로 기꺼이 내겠습니다. 이상적으로는 수학에도 버뮤다 원칙(https://en.wikipedia.org/wiki/Bermuda_Principles ) 같은 선언이 있으면 좋겠습니다. 그러면 가난한 대학의 수학자들, 그 밖의 수학자들도 수학의 진전에 참여할 기회를 얻을 테니까요.
AI 회사가 "정리"를 맡으면 무엇을 얻게 된다고 보십니까? 세금 절약입니까?
OpenAI 연구자들이 허술한 논문을 내놓는다면, 대체 왜 다른 사람이 그 허술한 논문을 편집하고 정리할 책임을 져야 합니까?
"책임"이 있는 사람은 없습니다. 논문을 읽을지는 각 과학자의 관심에 달린 일입니다. 새 AI 논문에서 증명되거나 반증된 정리에 관심 있는 수학자들 가운데 많은 수는, 관련된 사고의 흐름을 뽑아내는 일이 아무리 번거로워도 궁금해할 겁니다. 하지만 그 일은 어차피 수학자만 할 수 있다는 데는 동의하시지 않습니까? 회사에서 월급을 받는 사람이든 대학에서 받는 사람이든요?!
말씀하시는 건 천문학의 "독점 기간(proprietary period)"과 비슷합니다(참고: https://www.scientificamerican.com/article/nasas-plan-to-make-jwst-data-immediately-available-will-hurt-astronomy/ ). 그런데 AI를 돌려 달라고 요청한 수학자는 없으므로, 일시적으로라도 결과의 소유자로 볼 수 있는 수학자가 없습니다. 복잡한 증명은 자세히 설명하는 데 몇 년이 걸리기도 합니다(삼항 골드바흐 문제 https://en.wikipedia.org/wiki/Goldbach%27s_weak_conjecture 를 떠올려 보세요). AI 회사가 증명이 읽기 좋은 글로 정리될 때까지 데이터를 쥐고 있는데, 그동안 다른 곳의 수학자들은 그 문제를 풀려고 시간을 전부 쏟고 있다면 그건 그냥 불공평합니다.
저는 아닙니다. 제 세금이 수학 연구에 쓰이는 만큼(전체 세금에서 차지하는 비중은 극히 작습니다), 저는 그 돈이 인간의 수학적 이해와 문화, 교육의 발전에 쓰이길 바랍니다. 수조 달러 규모로 IPO를 앞둔 실리콘밸리 스타트업이 기계로 찍어낸 슬롭 더미를 뒤져서 통찰이 숨어 있을지 모른다고 기대하는 데 쓰이길 바라지 않습니다. 후자가 가치 있는 일이라면 그 스타트업이 비용을 대면 됩니다.
하디의 말을 바꿔 말하면, '해설은 이류의 정신이 하는 일이다'입니다.
저는 이 말을 믿지 않습니다. 하지만 수백 년 동안 특정 가치를 소중히 여겨 온 문화를 바탕으로 무엇이 좋고 바람직한지에 대한 자기만의 생각을 형성하고, 그 모습에 맞게 자신을 빚으려고 수십 년간 인생의 모든 의심과 난관에 맞서 싸워 온 사람이 하룻밤 사이에 새로운 현실에 적응하지 못하는 것이 '한심한' 일은 아니라고는 믿습니다.
장인이 되고 싶어 했던 사람 중에 공장 감독이 되고 싶어 하는 사람은 거의 없습니다. 그냥 받아들이라고 기대하는 것은 인간의 경험에 너무나 둔감한 일입니다.
그런 식으로 생각하는 요즘 수학자들에게는 동정심이 안 생기는 걸 이해해 주세요. 꽤 추한 종류의 오만입니다.
어떤 사람들은 스스로를 정점, 일류의 정신이라고 여기고 나머지를 이류로 취급했죠. 그런데 어떻게 됐을까요? 이제 그 일류의 정신은 흔해 빠진 상품이 됐고, 해설이 더 값어치 있어졌습니다. 그 사실에 적응하는 게 좋을 겁니다.
다행히 하디의 의견에 동의하는 수학자는 극소수입니다. "수학은 젊은이의 게임"이라는 그의 의견에 동의하는 수학자가 극소수인 것과 마찬가지입니다(실제로 지금은 아벨상처럼 나이 제한이 없는 상도 있습니다).
사실 역사상 위대한 수학자 다수는 해설을 매우 진지하게 여겼습니다. 유클리드, 오일러, 라그랑주, 코시, 디리클레, 콜모고로프 등은 모두 교과서를 썼습니다. 오늘날에도 많은 수학자가 해설을 진지하게 여기는 그 전통을 이어 책을 쓰고 강의 노트를 자유롭게 공유합니다.
그러니 하디의 의견을 모든 수학자, 심지어 대다수 수학자의 의견으로 받아들여서는 안 됩니다. 게다가 하디 본인도 해설서를 여러 권 썼으니(예: "A Course of Pure Mathematics") 그의 발언은 어느 정도 자기모순입니다.
그의 발언은 (그다지 호감 가지는 않는 방식의) 자기 비하였습니다. 젊은 시절의 자신은 일류의 정신 가운데 하나였고, 나이 든 지금의 자신이 해설을 하는 것은 이류라는 뜻으로 말한 겁니다.
자기 비하였다는 건 알지만, 그렇다고 제게는 그리 용납되지 않습니다. 게다가 "A Course of Pure Mathematics"를 쓴 게 삼십 대 초반이었으니 여전히 꽤 모순적이고 아이러니하다고 봅니다.