요약
셀프 어텐션 없이 토큰 쌍을 기하학적 부분공간으로 다루는 언어 모델 구조를 제안한 논문입니다.
2025년 12월 arXiv에 단독 저자가 올린 사전 공개 논문입니다. 저자는 트랜스포머의 멀티헤드 어텐션이 강력하지만 수학적으로 해석하기 어렵다고 보고, 더 구조적인 대안을 찾았습니다.
왜 중요한가
- 어텐션이 좋은 성능에 꼭 필요한지 묻고, 해석하기 쉬운 구조로 바꿀 수 있는지 시험한 시도입니다.
- 계산량이 입력 길이에 비례해 늘어나는 구조라서, 길이의 제곱으로 늘어나는 어텐션보다 긴 입력에 유리할 수 있습니다.
- 다만 저자는 어텐션을 폐기하자는 것이 아니라 중심에서 내려놓자는 제안이라고 밝혔습니다.
핵심 내용
- 저자는 어텐션을 모든 토큰 쌍의 상호작용을 담은 고차원 공간으로 벡터를 끌어올리는 일로 봤습니다.
- 제안한 층은 토큰 상태를 32차원으로 줄이고, 1~16칸 떨어진 두 토큰이 이루는 평면을 플뤼커 좌표(부분공간을 수치 벡터로 나타내는 방법)로 표현합니다.
- Wikitext-2 언어 모델링에서 1,300만~1,800만 매개변수 모델의 퍼플렉서티(낮을수록 좋은 예측 지표)가 같은 크기 트랜스포머보다 10~15% 나빴습니다.
- SNLI 문장 추론에서는 DistilBERT 위의 분류 부분만 바꿨을 때 테스트 정확도가 85.38%로 트랜스포머(85.11%)보다 조금 높았습니다.
- 실제 속도는 입력 길이 256까지 트랜스포머보다 느려서, 선형 확장의 이점은 아직 이론에 머문다고 인정했습니다.
HN 반응
- 작은 모델과 오래된 데이터셋으로는 아무것도 증명하지 못한다는 비판과, 트랜스포머보다 성능이 낮은데 제목이 과장됐다는 지적이 이어졌습니다.
- 논문 수식대로라면 미래 토큰이 섞여 답을 미리 보는 셈이라는 지적이 나왔고, 코드가 없어 재현을 시도한 저장소들도 결과가 엇갈렸습니다.
저자는 모델의 짝짓기 연산을 이렇게 설명합니다.
(zt,zt+Delta) (Delta는 양의 오프셋)
이러면 다음 토큰을 써서 다음 토큰을 예측하는 셈입니다. (zt,zt-Delta)여야 맞고, 아니면 부정행위예요.
논문만 그런 건지, 코드도 b0rk3d(망가진) 상태인지는 모르겠습니다.
저는 그렇게 읽히지 않는데요.
*각 위치 t와 t+Δ≤L을 만족하는 오프셋 Δ∈에 대해 짝 (z_t,z_t+Δ)를 만든다.
주어진 t마다 최대 m개의 짝이 나온다.
(z_t,z_t+Δ_1),(z_t,z_t+Δ_2),….
이를 여러 스케일의 국소 이웃으로 다룬다. 이 짝짓기는 인과적이라는 점에 유의하자. t는 자기보다 엄격히 오른쪽(미래)에 있는 위치하고만 짝지으며, 이는 왼쪽에서 오른쪽으로 진행하는 언어 모델링과 일치한다.*
그러니까 z_t는 입력의 토큰이고 z_t+Δ는 그보다 뒤에 오는 어떤 토큰이라는 얘기죠. 이걸 (z_t-Δ, z_t)로, t+Δ>=0 조건으로 뒤집어 쓸 수도 있었겠다 싶긴 합니다.
무슨 말인지는 아시는 것 같은데, 문제는 게이트를 계산할 때 이렇게 한다는 겁니다.
제가 제대로 읽었다면 g_t = geometric_mix(z_t, z_(t+delta))입니다.
그러면 g_t에 미래 토큰인 t+Δ가 들어간다는 뜻이에요. 미래 토큰이 현재 계산으로 새어 들어가는 겁니다.
그래서 부호 오류일 뿐이고 코드에서는 제대로 되어 있을 수도 있고, 제가 잘못 읽은 것일 수도 있습니다.
그런데 제가 맞다면, 게다가 표준 트랜스포머보다 결과가 나빴다는 점까지 고려하면 코드에서는 고쳐져 있기를 간절히 바랍니다. 미래를 알고도 성적이 더 나쁘다면 이 아이디어에는 나쁜 소식이니까요.
맞는 지적입니다. 논문에 코드 링크라도 있었으면 좋았을 텐데요.
이걸 재현하려는 저장소1를 찾았는데, 딸린 블로그 글2은 별다른 언급 없이 (z_t, z_t - delta)를 씁니다.
재현을 시도한 다른 저장소3도 제가 보기엔 반대로, 즉 (현재, 과거)로 되어 있습니다.
흥미롭게도 첫 번째 저장소는 결과가 신통치 않았고, 두 번째 저장소는 논문과 대략 비슷하게 나왔습니다. 첫 번째 쪽에서 Claude를 쓴 것과 관련이 있는지는 모르겠습니다. 다만 거기서도 논문에 빠진 세부 사항이 많다고 적어 두었는데, 맞는 말이기는 합니다.
그 두 재현물도 b0rk3d(망가진) 상태예요. 부호 뒤집힘은 고쳤지만 재현의 다른 부분을 망쳐 놓았습니다. 예를 들어 Arledge(Infotashi)의 것은 잔차 연결이 두 개나 있어요.
저는 여전히 이게 통할 것 같지 않지만, 확실히 알 수 있을 만큼 제대로 재현한 사람이 아직 없다는 것도 꽤 확신합니다.
트랜스포머보다 10~15% 나쁘다고 스스로 내세웠더군요.
결과 모델이 트랜스포머에 미치지 못한다면 논문 제목은 대체 뭘 위한 건지 모르겠습니다.
그 점은 꽤 분명하게 밝히고 있어요.
요약하면, 우리 결과가 시사하는 바는 강력한 시퀀스 모델링에 근본적으로 필요한 것이 어텐션 자체가 아니라, 표현이 자신이 놓인 다양체 위에서 움직이는 원리적인 방법이라는 것이다. 그래스만 플로우는 이 발상의 한 가지 구체적인 구현이며, 어텐션의 기하학적 대안을 신경망 설계에서 더 탐구하는 계기가 되기를 바란다.
그리고 제안한 모델을 일부러 아주 단순하게 만들었다고도 적었습니다. 이해하기 쉽게 하려는 것이고, 아마 학습시키기도 쉽게 하려는 것이겠죠.
이 논문에서는 핵심 아이디어를 분명히 하려고 k = 2, 명시적 전역 불변량 없음이라는 최소한의 설계로 의도적으로 제한했다. 다만 "전역 불변량 + 국소 그래스만 플로우"를 기하학을 의식한 추론에 관한 향후 연구의 유망한 방향으로 본다.
아니요, 제 요점은 더 일반적인 얘기입니다. 제목은 어텐션 기반 트랜스포머가 필요 없다고 약속하는데, 막상 벤치마크를 보면 퍼플렉시티가 10% 나쁘다고 합니다. 그걸로 어떻게 어텐션이 필요 없다고 설득이 되겠어요?
예컨대 Mamba 3[0]을 보면(벤치마크는 12쪽과 14쪽) 퍼플렉시티도 벤치마크 점수도 대체로 비슷합니다. 어텐션이 중요하지 않다고 하려면 여러 아키텍처로 같은 성능을 낼 수 있다는 걸 보여 줘서 설득해야 해요. 저라면 서로 비슷하게 나오는 여러 모델 아키텍처를 가로지르는 서베이 논문을 예상했을 겁니다. 그러면 "다들 성능이 똑같네, 어텐션은 없어도 되겠는데!" 하는 인상을 받을 테니까요. 그런데 실제로는 자기네 애착 아키텍처가 더 못하다는 걸 보여 주니, 제목이 전하는 바와 정반대입니다.
아무 ML 연구자에게 이 논문을 주면 그냥 돌아서서 다음 트랜스포머-맘바 하이브리드나 만들러 갈 겁니다.
[0] https://arxiv.org/abs/2603.15569
문제의식에는 동의하지만 주장이 너무 강합니다.
그래스만 다양체가 단순한 쿼리/키 내적보다 반드시 더 나은 표현이라고는 생각하지 않습니다. 유효한 해법이고 경우에 따라 장점도 있지만요.
그래스만 다양체는 부분공간의 방향만 보존하기 때문에 실제 선형 사상에 대한 정보를 잃고, 사실상 그 기저를 버리게 됩니다.
다른 모든 것이 그렇듯 이것도 트레이드오프입니다. 정보를 내주고 더 낮은 랭크의 표현을 얻는 거예요.
구현 쪽은 논문을 아직 읽는 중인데, 조심해서 볼 또 다른 문제는 연산량입니다. 이 사영이 전체 모델에 MAC을 더 얹어서 랭크가 낮은 표현을 쓰는데도 추론이 약간 느려질까요? 모르겠습니다. 정보 표현을 제한하는 대신 공간/연산을 아끼는 기법이 다 그렇듯, 학습 중에는 탐색 공간이 넓어지는 셈이기도 합니다. 이 아키텍처로 모델을 학습시킬 때 "일반" 어텐션에 비해 필요한 데이터량에 어떤 영향이 있는지 궁금하네요.
필요한 건 스케일뿐입니다.
그래서 어텐션 없는 대형 언어 모델도 잘 돌아가는 걸 볼 수 있죠. 하지만 시간과 연산에 제약이 있는 세상에서는 아키텍처가 중요합니다. 스케일링에는 비용이 들기 때문이에요(그 비용이 내려가고는 있지만).
맞습니다. “Scaling Laws for Neural Language Models”를 보세요. 제 생각엔 필독서입니다. https://arxiv.org/html/2001.08361v1
연산량, 데이터, 파라미터 수, 이 세 가지의 로그 값이 모델 성능과 대응합니다.
그래서 학습 효율을 높이는 방법을 찾으면(개념적으로 가장 단순한 건 아마 Gemma처럼 로컬/글로벌 슬라이딩 윈도 어텐션일 겁니다. 최신 DeepSeek과 Kimi에는 꽤 정교한 것들이 있고요) 유효 연산량을 늘릴 수 있어서, 데이터와 파라미터 수는 그대로 두고도 더 똑똑한 모델을 학습시킬 수 있습니다.
이 주제가 흥미롭고 더 파고들고 싶다면 nanochat(탄탄한 GPT-2 재현물이고 코드 줄 수가 최소입니다)을 살펴보고, 코딩 에이전트와 함께 아키텍처를 이리저리 바꿔 보시길 권합니다.
“실험을 통한 학습”은 지금처럼 쉽고 재미있었던 적이 없다고 생각해요. GPU가 있다면, 오래된 8GB짜리 카드라도(아니면 Runpod에 몇 달러만 내면) 작은 언어 모델을 직접 사전학습시키고 이것저것 바꿔 가며 실험해 볼 수 있습니다.
어텐션 헤드를 바꾸는 것(즉 기본 트랜스포머 대신 슬라이딩 윈도 어텐션을 쓰는 것)이 왜 "연산" 개선으로만 보이는지 이해가 안 됩니다. 복잡도가 이차에서 선형으로 개선되는 건 맞지만, 사람들이 그렇게 오랫동안 슬라이딩 윈도가 아니라 트랜스포머를 써 온 데에는 이유가 있습니다(슬라이딩 윈도는 2021년에 이미 있었습니다).
슬라이딩 윈도 어텐션이 기본 트랜스포머와 대등한 성능을 내게 만드는 건 간단하지 않은 문제이고, 연산을 더 쏟아붓는 것만으로는 풀리지 않습니다. 이 방향에도 여전히 "영리한" 아이디어가 필요합니다.
Qwen 3.5는 레이어의 75%가 리니어 어텐션입니다. 이론은 대체로 리니어 어텐션이면 충분하되, 일반 어텐션 레이어가 몇 개 있으면 더 복잡한 장거리 관계를 처리하는 데 도움이 된다는 것 같아요.
제가 확실히 알고 싶은 건 75/25 비율입니다. 소수의 풀 어텐션 레이어가 실제로 장거리 의존성을 묶어 주는 것이라면, "소프트맥스 어텐션은 대부분 버려도 된다"와 "그래도 일부는 필요하다"가 둘 다 참일 수 있습니다. Qwen 3.5의 이 구성은 모델 카드에 나온 건가요, 설정 파일에 나온 건가요? 그리고 그 풀 어텐션 레이어들이 앞쪽에 있는지, 뒤쪽에 있는지, 번갈아 배치됐는지도 나와 있나요?
맞아요. 트랜스포머 네트워크에 연결을 계속 더해서 완전연결 네트워크로 만들어도 여전히 동작할 겁니다(?). 다만 훨씬 비싸겠죠.
(?) 실제로 그런지는 모르지만 그럴 가능성이 아주 높습니다.
제 직감(전문 하드웨어·소프트웨어 엔지니어로 30년쯤 일하며 얻은 것)으로는, 실제 기계에서 대규모로 구현하면 함수형 언어가 겪는 것과 똑같은 성능 문제가 나타나기 시작할 겁니다. 수학에 완벽히 충실하려 하면 지연 시간이 늘어나거든요.
그래서 Haskell 같은 걸로는 대규모로 쓰이는 제대로 된 OS를 안 만드는 겁니다. 그래픽 상태 변경은 오래전에 죽은 오일러 씨인지 누군지가 만족할 때까지 기다려 주지 않아요.
엄밀한 공리적 규칙을 만족시키는 동안 상태를 캐시해야 하고, C처럼 새치기해서 값을 바꿔 버릴 수도 없다면, C가 그렇게 해서 생기는 문제를 없애는 게 아니라 옮겨 놓을 뿐입니다. 열역학이 원래 그렇게 못됐어요.
수학은 물리가 아니고, 물리는 수학이 아닙니다. 수학은 물리를 적는 표기 문법일 뿐이에요. 영어가 우화와 은유를 적는 표기이듯이요.
물리는 불변이라서, 어떤 문법이 깨질 거라고 말한다고 해서 깨지지 않습니다.
시퀀스 길이가 작을 때는 잘 되는 어텐션 대안이 많습니다.
그래요? 더 알고 싶네요. 저는 짧은 시퀀스(펩타이드, 길이가 30 정도)를 다루는데 지금은 어텐션 기반 메커니즘을 쓰고 있거든요. 어디서부터 시작하면 좋을지 알려 주실 수 있을까요?
중국 LLM들이 뭘 하는지 찾아보세요. 예를 들면 일부 어텐션 메커니즘을 리니어 어텐션 레이어와 섞는 식입니다. Mamba2 레이어, Gated Delta Net (2), Kimi Delta Attention, 그리고 최근의 Raon Delta Attention(Gated Delta Net 2에 Kimi Delta Attention의 개선을 더한 것) 같은 것들이 있어요.
Gated Delta Net 2는 엔비디아에서 논문을 냈으니 커널도 찾으실 수 있을 겁니다.
어텐션이 실제로 무엇인지 이해하고 나면 필요한 대로 바꾸기는 꽤 쉽습니다.
https://news.ycombinator.com/threads?id=ActorNightly&next=49852464#49797410
요약하면, 중요한 건 트랜스포머 자체라기보다 차원을 확장하는 것입니다. 그 방법은 어떤 식으로 골라도 됩니다.
(2025)
"잠재의식"적 추론이네요.
맞아요. 전문가를 훌륭하게 만드는 게 뭘까요? 직관입니다. 모든 세부 사항에 주의를 기울여야 한다면 아무 일도 못 끝낼 거예요. 그래도 어텐션은 모델이 어떻게 돌아가는지, 어떻게 안 돌아가는지 파악하는 데 쓸모 있는 도구입니다. 복잡한 일을 해 본 사람이라면 한 가지에만 주의를 기울이면 오히려 뻔한 문제를 놓치기 쉽다는 걸 알 겁니다.
사람의 직관은 체화된 경험, 지각, 그리고 물리적·사회적 세계와 상호작용해 온 오랜 세월이 뒷받침합니다. AI 모델이 학습한 패턴 인식은 어떤 면에서는 비슷하지만 같은 과정은 아닙니다.
지능은 모든 것을 끊임없이 꼼꼼히 살피는 데보다, 좋은 내부 모델을 갖추고, 그 모델이 언제 틀릴 가능성이 높은지 알아채고, 어디를 조사해야 할지 아는 데 더 달려 있을지도 모릅니다.
하, 이 'xyz is all you need' 식 제목은 이제 지긋지긋해요.
전해질요.
웃음이 나올 만큼 작은 장난감 문제에서만 이 아이디어를 보여 줬습니다. 오래된 데이터셋에서 18M 파라미터 모델(이걸 "중간 규모"라고 부르더군요)로는 사실상 아무것도 증명되지 않아요. 나쁜 아이디어도 사소한 규모에서는 멀쩡히 돌아가는 것처럼 보이는 경우가 수두룩합니다.
트랜스포머의 가장 중요한 특징은 임의로 큰 모델을 쉽게 학습시킬 수 있게 해 줬다는 점이라고 봐도 될 겁니다.
"어텐션은 한물갔다"와 "이건 아무것도 증명하지 못한다" 사이에 중간 지점이 있다고 생각합니다.
맞습니다, 제가 너무 깎아내렸네요. 그래도 어텐션의 더 효율적인 대안을 보여 주는 이런 논문은 수십 편이나 됩니다. 이 논문이 어디로도 이어지지 않을 거라는 증거도 충분하고요.
효율적인 대안은 10년 전부터 나왔습니다. 판도를 실제로 바꾼 건 Flash Attention뿐이에요. 알고리즘상의 타협이 아니기 때문입니다. 그저 선형대수 연산에 괄호를 더 똑똑하게 치는 방법일 뿐이거든요.
조심하세요, 이 논문에는 무시무시한 ~수학 표기~가 나옵니다.
;)
그런데 초록에서 Plücker 좌표의 철자를 틀렸네요.