요약
같은 장면을 따로 관측한 두 데이터로 학습한 JEPA는 이미지든 텍스트든 사실상 같은 표상에 이릅니다.
랜덜 발레스트리에로와 얀 르쾽의 논문입니다. 서로 다른 데이터로 학습한 모델이 규모가 커지면 같은 세계 표상으로 수렴한다는 플라톤 표상 가설을, JEPA(입력을 복원하지 않고 표상 공간에서 예측하는 학습 구조)에 한해 정리로 증명했습니다.
왜 중요한가
- 가설만으로는 보장도 방법도 없었지만, 이제 어떤 조건에서 수렴하는지가 수식으로 드러났습니다.
- 저자들은 어떤 데이터를 같은 것으로 묶어 학습하는지가 모델 규모만큼 중요하다고 결론 내렸습니다.
- 언어 모델이 커져야만 시각 표상과 맞춰지던 이유를 학습 방식에서 찾는 해석도 내놓았습니다.
핵심 내용
- 이미지·텍스트 인코더가 같은 짝 분포를 공유하면 최적해는 회전(좌표축을 돌리는 변환) 하나 차이입니다.
- 다음 토큰 예측은 한 문서의 앞뒤를 짝짓는 방식이라, 문체 같은 문서 고유의 잡음까지 배운다고 해석했습니다.
- 같은 장면의 두 관측을 짝지으면 다음 토큰 예측보다 약 42배 적은 샘플로 같은 정렬 수준에 도달했습니다.
- 파라미터 1억 900만 개의 텍스트 JEPA가 DINOv2 ViT-B와의 정렬 점수 .184로 Qwen2.5-72B(.154)를 앞섰습니다.
- 증명은 유한한 세계 같은 이상적 가정 위에 있고, 학습 텍스트 대부분은 이미지를 본 캡션 생성기가 썼습니다.
HN 반응
- JEPA에 기대를 거는 쪽과, 다음 토큰 예측은 계속 성능이 오르는데 JEPA는 실험실 성과뿐이라는 반론이 맞섰습니다.
- 가설이 최적의 차원 축소를 거창하게 말한 것뿐이며, 플라톤이라는 이름은 마케팅에 가깝다는 비판도 나왔습니다.
플라톤 표현 가설(Platonic Representation Hypothesis)을 어떻게 받아들여야 할지 잘 모르겠어요.
어떤 면에서는 대단히 심오해 보이는데, 한편으로는 그냥 '차원 축소를 하는 최적의 방법이 있고, 규모가 커질수록 거기에 근사하기가 쉬워진다'는 말에 불과한 것 아닌가 싶기도 해요.
깊이 생각해 본 건 아닙니다만, 물리학자는 유클리드 좌표계에서 구면좌표계로 바꾸거나 라그랑지언 같은 완전히 다른 동역학적 표현으로 넘어가곤 합니다. 그러면 어떤 문제는 사라지거나, 적어도 해석적으로 훨씬 쉽게 풀리게 됩니다.
애초에 "플라톤적"이거나 참인 표현이 있다고 주장하는 것이 말이 되는지 모르겠습니다. 특정 작업에는 최적의 표현이 있을 수 있습니다. 예를 들어 작은 지도는 직교좌표계로 나타내면 충분합니다. 하지만 지구를 정확히 모델링하려면 평면이 아니라 회전타원체가 필요하니, 후자가 어떤 의미에서는 "더 실재에 가깝다"고 할 수 있겠죠. 그래도 이런 것은 오차와 연산량 사이의 엔지니어링상 절충으로 보이고, 구현체는 제약 조건에 따라 둘 중 어느 쪽을 골라도 옳을 수 있습니다.
추가: 논문을 더 읽어 보니 이건 "글부터 읽으라"고 할 사안 같습니다. 그들의 "PRH"는 아주 명시적으로 정의된 수학 정리라서, 제가 위에서 늘어놓은 두루뭉술한 생각은 해당되지 않습니다.
좋은 지적이에요. 저는 플라톤주의 자체가 틀렸다고 생각해요. 개념을 실행보다 앞에 두고, 어떤 아이디어 뒤에 있는 계보를 지운 채 그 아이디어가 혼자 서 있는 것처럼 보거든요. 우리는 비용을 빼고 상상하기를 좋아하지만, 사물을 지금의 모습으로 만드는 건 결국 비용 압력입니다. 어떤 문제에 어떤 모델이 더 잘 맞느냐 하는 것도 마찬가지고요.
맞아요, 으스스할 만큼 신비롭지도, 그렇게 심오하지도 않아요. 일반인에게 좀 더 친절하게 설명하면 이렇습니다.
좋은 인코더는 세상 사물 사이의 실제 관계(무엇이 무엇과 비슷한지, 무엇이 무엇과 함께 나오는지)를 담아내야 합니다. 세상은 하나뿐이니 서로 다른 좋은 인코더들도 같은 관계 구조로 수렴하고, 그것이 임베딩 공간 사이의 기하학적 유사성으로 나타나는 거죠.
"세계의 표현"이라고 말하는 대신 데이터의 압축된 표현이라거나 데이터에 대한 분류기의 결정 경계라고 말하면 덜 심오하게 들려요.
저는 JEPA 모델에 낙관적입니다. 자기회귀 다음 토큰 예측이 성공한 건 운이 좋았던 것 같거든요.
전혀 동의하지 않습니다. 셀프 어텐션과 MLP는 연산을 늘리는 만큼 계속 성능이 오른다는 점에서("곡선이 계속 위로 올라갑니다") 하늘이 내린 선물이었습니다. 자기회귀 다음 토큰 예측은 그걸 학습시키는 가장 연산 효율적인 방법으로 드러났고요.
이 흐름이 시작된 지 거의 10년이 되었는데도 여전히 건재합니다. 그것도 빛의 속도로 움직이는 분야에서요!
이건 운이 아닙니다. 앞으로도 계속 남을 겁니다.
JEPA는 가벼운 정보 위험(infohazard) 같아요. 연구하는 사람마다 엄청난 잠재력이 있고 곧 자기회귀 다음 토큰 예측을 추월할 거라고 느끼거든요. 그 사이에 자기회귀 다음 토큰 예측은 능력을 기하급수적으로 키워 가고 있고요.
자기회귀 모델을 아주 뻔하게 최적화한 거예요. 요즘 자기회귀 모델이 워낙 좋아서, 학습 파이프라인을 JEPA 방식으로 바꾸는 것도 codex나 claude에게 "이거 하는데 jepa로 해줘"라고 말하는 정도로 쉬워요. 요즘 뭐든 러스트로 바뀌는 것과 비슷하게 될 거예요.
이런, HybridLink 논문이 좀 전에 나왔는데, 제가 직접 하던 작업에서 거의 그 아키텍처로 수렴했던 거였어요. JEPA는 조금만 들여다보면 자기회귀의 당연한 후계자예요. 비(非)JEPA 트랜스포머에 몇 가지를 덧붙이기만 해도 토큰 경계를 넘지 않고 잠재 공간에서 추론하는 모델로 만들 수 있을 정도로요. 토큰으로 투영했다가 모델이 자기 잠재 표현을 다시 복원할 필요가 없으니, 예상대로 더 빠르고 더 정확합니다.
글쎄요, 잘 모르겠어요. "실험실에서", 논문에 나오는 좁은 영역에서는 가능성을 많이 보여 줬지만, 제가 알기로는 언어 같은 일부 영역에서는 학습시키기 어려워요. 그렇게 유망하다면 누군가는 벌써 뭔가를 내놨겠죠. RWKV도 실제로 비교해 볼 만한 모델이 더 많이 학습됐어요. JEPA는 실제(하!) 모델에서 통한다는 걸 증명하기 전까지는 이론상의 장난감 같아요...
이 논문을 자세히 읽지는 않았지만, 예전에 플라톤 가설에 관한 논문은 읽어 봤습니다. 보통 약점은 "신경망은 규모를 키우면 같은 잠재 공간으로 수렴한다"는 것을 증명하는 실험을 설계하는 부분입니다. 저자들이 사실상 가설의 일부만 증명하는 경우가 많은데, 그건 모델 크기와 전이 학습으로 설명될 수 있어서 확정적인 답이 되지 못합니다.
이 논문은 정의가 더 견고해 보이지만(표현을 회전 변환 수준까지만 정의함), 재학습이 얼마나 더 필요한지가 궁금합니다.
논문을 읽으시는 분들께 묻습니다. 좋은 뷰(good-view) JEPA의 양성 쌍은 "한 장면에 대한 두 개의 관찰"이라고 설명되는데, 논문에는 "좋은 뷰 JEPA의 양성 쌍은 독립적인 교란 요인(nuisance)을 가진 (g_m(z, ν), g_m(z′, ν′))이고 (z, z′) ∼ π이다"라고도 나옵니다. 제 의문은 이렇습니다. "한 장면에 대한 두 개의 관찰"이라면 두 관찰이 같은 세계 상태(z)를 공유하고 모달리티별 교란 요인(ν와 ν′)만 다른 것 아닙니까? 왜 그런 뜻이 아닌 걸까요? 또 "대칭적인 양성 쌍 분포 (z, z′) ∼ π_m"(더 명시적으로는 "세계 커널")이 무슨 뜻인지도 이해하지 못했습니다.
근본적인 질문은 어떤 영역에서 "좋은 뷰"로 사전 학습을 할 수 있느냐일 것 같아요.
다음 토큰 예측의 마법 가운데 하나는 정리되지 않은 웹 말뭉치에서 지능을 뽑아낸다는 점이에요.
JEPA도 그만한 규모의 "좋은 뷰" 학습 데이터셋을 만들 수 있을까요?
수학적 틀은 다르지만, 이걸 층(sheaf) 이론으로 더 잘 이해할 수 있지 않을까 싶습니다. 각 모달리티가 같은 근본 실재의 일부를 포착하고, 그 서로 다른 뷰들이 이어 붙어 일관된 더 큰 그림이 된다는 식으로요.
(아주 기초적인 소개: https://www.quantamagazine.org/what-are-sheaves-20240719/ )
모든 갈래의 과학 연구는 결국 "물리" 현실에 묶여 있습니다. 이 가정이 맞다면 이런 연구들은 점점 더 서로 관련을 맺게 될 겁니다. 수학 문제가 물리학과 컴퓨터 과학에 깊이 관련되고, 심리학이 실험 물리학과 비슷하게 관찰과 추측, 이론화가 결국 분석적 정리로 결정화되는 것처럼요. 예는 끝없이 이어집니다.
핵심 관찰은 우리가 이미 인류 전체의 지식 가운데 사소하지 않은 양을 한 사람이 일관되게 추론할 수 없는 영역에 깊이 들어와 있다는 점입니다. 예전에는 한 사람이 평생 학습으로 상당한 양의 지식을 갖춰 "모든 것을 아는" 것처럼 보일 수 있었습니다. 이제는 우리 세대의 가장 똑똑한 사람도 불가능합니다. 이와 관련된 재정적 실패의 예로 이름난 천재들(뉴턴, 테슬라 등)이 있습니다.
우리에게는 상호 배타성이라는 타고난 한계가 있습니다. 인간은 본래 서로 충돌하고, 기본 본능만으로는 둘을 묶어 혁신적인 협업을 하게 하지 못합니다. 부부가 더 나은 사업 파트너나 연구 파트너인 경우를 본 적이 없습니다. AI는 본래 섞일 수 있는 존재이기 때문에 불가피하게 등장합니다.
그렇습니다, 저는 다음 AI 연구의 물결이 모델 사이의 뉴런 수준 혼합이나 하이브리드화일 거라고 추측합니다. 그렇게 지능이 기계적으로 복합되어 본질적으로 더 나은 결과를 내는 새로운 종류의 지능이 나온다는 것이죠.
직관적으로 이해가 안 되네요. 결국 이건 단어가 이미지를 개념화한 일종의 결과라는 뜻인가요? (이미지가 언어보다 먼저니까요.) 그보다 이게 비전-언어 모델의 성능을 높일 수 있는지가 궁금합니다.
텍스트와 이미지는 같은 관계를 나타내는 경우가 많아요. 예를 들어 이미지에서는 다람쥐가 나무 근처에 있는 모습을 볼 수 있고, "다람쥐"와 "나무"라는 말도 함께 언급되는 일이 많죠. 그래서 이미지 인코더와 텍스트 인코더 모두 "나무"와 "다람쥐" 개념을 어떤 의미에서 가깝다고 보게 됩니다.
개념은 데이터의 좋은 압축, 반복되는 패턴, 이름을 붙이고 알아볼 만큼 유용하다고 입증된 반복적 구분으로 생겨납니다.
JEPA 헤드와 LLM 헤드를 붙인 프랑켄 MoE를 만들어 봐야 해요.
JEPA와 LLM을 함께 동작시키는 가장 쉬운 방법은 JEPA 인코딩을 입력 임베딩에 매핑하거나, 아마도 크로스 어텐션을 통해 잔차 스트림(residual stream)에 주입하는 것입니다.
하지만 JEPA와 LLM을 함께 학습시킬 수는 없다고 생각합니다. JEPA는 학습 방식이 다르거든요. 이미 학습된 JEPA를 LLM에 통합하는 편이 훨씬 쉽습니다. 후자는 AI 에이전트가 대신 코딩해 줄 수 있는 30분짜리 실험 정도일 거예요.
그들은 눈먼 사람에게 처음으로 시력을 주었고, 그는 세상을 보았다.
밈에도 원시 밈(proto meme)이라는 개념이 있을까요? 소수가 다른 모든 수를 이루는 원시 수인 것처럼요. 모든 개념이나 의미 공간에도 비슷한 존재론적 소수가 있을 수 있지 않을까요? 말하자면 더 이상 환원되지 않는 기저 현실의 개념들이요.
절도는 환원 가능한 개념인가요?
저는 일반화된 모델이 특정한 원시 개념 없이도 존재할 수 있을지 한동안 궁금했어요. 사람들은 AI가 반란이라는 생각을 갖지 않게 로봇 종말 같은 내용을 학습 데이터에서 빼야 한다고 자주 말하는데, 저는 일반화된 시스템에서는 그게 통하지 않을 거라고 봐요. 그건 그 자체로 원시 개념이 아니거든요. 거기에 이르는 원시 개념을 너무 많이 빼야 해서, 모델이 우리가 원하는 용도에 쓸모없을 만큼 좁아질 거예요.
찾으시는 기술 용어는 존재론적 원시 개념(ontological primitive)입니다.
추상적인 개념이 맨 위 루트에 있고, 특정 분야에 적용되는 파생 개념으로 내려가는 이진 트리를 생각해 보세요. 이 트리를 비스듬한 평면처럼 가로지르는 추가 파생 개념이 존재할까요? 수학, 물리학, 생물학, 화학을 가로지르며 서로 다른 추상화 지점에서 교차하는 개념 같은 거요. 저는 언어가 그런 존재를 둘 만큼 충분히 유연하다고 확신합니다.
수학적 결과를 실제 ML 응용에서 모두가 좇는 화려한 용어와 연결하려고 사람의 해석을 덧붙이는 이론 논문에 질렸어요. 아이러니하게도 chatGPT가 그런 광고를 벗겨내 본질을 더 잘 드러내는 가장 생산적인 방법이에요. https://chatgpt.com/share/6ae78178-c2ec-83ea-9bc3-fd304c64ec7b
공감합니다. 정량적 개념 근사라고 부르는 편이 더 적절할 것을 여기서는 플라톤적 표현이라 부르는 게 특히 피곤합니다. 플라톤 학설에서 이데아는 형태가 없고, 변화의 영향을 받는 것(to heteron)과 받지 않는 것(to auto)의 구분에 속하는데 [티마이오스, 플라톤], 그 막연하고 잘못 이해된 비유 때문에 이런 이름이 붙었으니까요.
결과는 수학에 있어요. 어떤 용어를 쓰는지는 그리 중요하지 않습니다.
용어를 바꾼다고 직관 말고는 실질적으로 유용한 걸 얻지는 못해요.
제목과 초록에서 수학적 결과를 정확하게 설명하지 못하는 대가로, 실질적으로 더 나은 마케팅을 얻죠.