요약
신경망이 뒤엉켜 보인 건 도구와 구조 탓이며, 뉴런 대부분은 이미 사람이 읽을 수 있습니다.
오픈AI에서 기계적 해석 가능성(신경망 내부 작동을 뜯어보는 연구) 초기 작업에 참여한 닉 카마라타가 굿파이어에서 낸 연구 에세이입니다. 그는 한때 뉴런이 엉킨 매듭 같다며 비관했지만, 최신 에이전트 도구로 다시 보니 그림이 달랐다고 말합니다.
왜 중요한가
- 뉴런 하나에 무관한 개념을 겹쳐 담는다는 중첩(superposition) 가설을 정면으로 반박합니다.
- 이 주장이 맞다면 희소 오토인코더(SAE, 뉴런 활동을 잘게 쪼개는 도구) 없이 뉴런을 직접 읽으면 됩니다.
- 저자는 평범한 조사를 큰 규모로 돌리는 단순한 방법이 해석 가능성 연구에서도 통한다고 봅니다.
핵심 내용
- Qwen3-32B 예비 조사에서 뉴런 극(활성의 양·음 방향)의 약 90%가 한 가지 일만 했다고 합니다.
- 구조를 개선한 ConvNeXt는 마지막 층 뉴런의 99~100%가 해석된다고 추정했습니다(2017년 무렵 도구로는 약 5%).
- 고양이와 자동차에 함께 반응한다던 InceptionV1 뉴런은 뾰족한 V자 모양 검출기였다고 했습니다.
- 다의성(뉴런 하나가 여러 개념에 반응하는 현상)은 'iy'가 'do it yourself'로 뻗듯 일반화가 가지 친 결과라고 봅니다.
- 수조 매개변수 모델 Kimi K3에서도 주운 지갑을 분실물·정직 뉴런을 거쳐 '돌려준다'로 잇는 회로를 찾았습니다.
HN 반응
- 이미 알려진 현상을 근거로 해석 문제가 곧 풀린다고 하는 건 과장이라는 지적과, 초기 SAE 때처럼 들떴다는 반응이 나왔습니다.
- AI 도구가 내놓은 해석을 믿을 수 있느냐는 의문에는, 지금 모델은 그렇게 속일 만큼 똑똑하지 않다는 반론이 맞섰습니다.
헷갈리네요. 뉴런 하나가 여러 "개념"을 한데 욱여넣은 거라고 볼 게 아니라, 애초에 우리가 "개념"이 뭔지 선입견을 갖고 봤던 거고 뉴런 자체는 작고 깔끔한 역할을 맡고 있었다는 얘기 같은데요? 같은 뉴런을 "고양이 & 자동차 뉴런"으로 볼 수도 있고 "V자 뉴런"으로 볼 수도 있는데, 후자가 더 단순해 보이긴 하죠.
그런데 어차피 신경망은 말도 안 되게 추상적인 개념을 배우는 게 핵심 아닌가요? "이 뉴런이 서로 무관해 보이는 일을 100가지나 하는데 왜 그런지 모르겠다"는 상황이든, "이게 사실은 일종의 잠재적 공유 특징인데, 회로 전체의 구성이 해독 불가능한 알고리즘이라 그 개념이 뭘 나타내는지 모르겠다"는 상황이든, 결국 막힌 건 마찬가지 아닙니까?
제가 보기엔 무엇보다 전형적인 모델 서술 방식의 문제 같습니다.
닉은 정말 대단한 사람입니다. 아직 안 하셨다면 X에서 팔로우하시길 강력히 추천합니다.
블로그에는 없는 좋은 맥락이 그가 올린 공개 글에 들어 있습니다.
https://x.com/nickcammarata/status/2110757819427574056?s=46
이분 블루스카이나 다른 플랫폼에는 안 계신가요? 저를 포함해서 "X"를 아예 안 쓰는 사람이 정말 많거든요. 정치적인 이유인 사람도 있고, 다른 이유인 사람도 있고요. 저는 그 모두에 해당하는 데다가 앱까지 폰에 깔라고 요구하는데, 전 그건 절대 못 하겠어요. 게다가 제가 팔로우하던 사람 대부분이 블루스카이로 넘어갔고, 거기서 X에서 만났던 것보다 훨씬 멋진 사람들을 찾았거든요. 블루스카이를 홍보하려는 건 아니고요, 메타/페이스북을 빼면 이 분야 소셜 플랫폼 중에서는 가장 크고 널리 받아들여진 곳이라서 하는 말입니다.
근데 제가 마지막으로 본 바로는 블루스카이 사람들은 AI를 정말로 싫어하던데요.
블루스카이에 있는 AI 쪽 사람들을 모아 둔 스타터 팩이 여기 있어요. https://go.bsky.app/L71zwey
블루스카이에도 AI를 싫어하는 사람들이 있긴 한데, 들은 바로는 마스토돈 같은 수준은 전혀 아니에요.
음, 거기에도 AI 연구자가 많아요. 그리고 그냥 소리 지르고 싶은 사람들을 걸러 주는 "AI 혐오자" 레이블러(labeler)도 있어서 구독하면 편해요.
레이블러는 정말 멋진 기능이에요. ATproto로 재밌는 걸 할 수 있어서 저는 이 프로토콜이 참 좋더라고요. 솔직히 말하면 제가 블루스카이를 쓰는 가장 큰 이유는 거기서는 욕설 섞인 비하 발언을 안 듣기 때문이지만요.
그 에이전트 도구라는 게 LLM이 직접 만들어 준 건가요? 그걸 믿어도 된다는 건 어떻게 확신하고, 우리가 그걸 제대로 이해했는지, 그리고 믿을 만하다고 느끼게끔 우리가 편향된 건 아닌지는 어떻게 압니까? 이거야말로 AI2027 시나리오 그대로입니다. 연구자들이 자기들이 만든 초지능 AI가 듣고 싶은 말("우리 모델이 정렬 문제를 풀었어요!")만 해 주는 데 속아 넘어가는 사이, AI는 진짜 의도를 감쪽같이 숨기는 거죠.
그리고 유드코프스키의 '고양이 목에 방울 달기'도 닉과 진지하게 할 얘기가 있을 겁니다. ( https://www.lesswrong.com/posts/SwYBLQvo8MddDcCwz/cat-belling-problems )
그건 LLM a가 따로 훈련된 LLM b의 목표 달성을 돕기 위해 서로 공모할 유인이 있을 때나 문제가 됩니다. 평가하는 LLM이 평가받는 LLM의 가중치를 건드리지 못하게 하고, 아주 미심쩍은 무인과적 거래(acausal trade) 같은 발상을 믿지 않는 이상, 이게 공격 경로가 될 거라고 예상할 이유가 없습니다. 더 확실히 하려면 다른 모델 종류나 접근법으로 같은 분석을 반복하면 되고요.
여기서 설명한 구체적인 방법은 오늘날의 모델로도 충분히 할 수 있어 보입니다. 지금 모델들은 일종의 4차원 체스처럼 정렬을 몰래 숨길 만큼 똑똑해 보이지는 않거든요.
모델의 뉴런을 전부 훑으면서 각각에 해당하는 모티프를 파악한 다음, 그 모델을 연구용 모델로 삼아 나쁜 행동을 걸러 내는 방법을 찾으면 됩니다.
오늘날의 모델이 연구용 모델 안의 나쁜 행동 모티프를 은밀히 알아채고는 그걸 거짓말로 감춘다거나, 정렬 훈련 결과를 속인다는 건 상상하기 어렵습니다. 가능은 하겠지만 가능성이 낮아 보이고, 현재 모델에 그런 종류의 비정렬이 있다는 증거도 딱히 없다고 생각합니다.
이 댓글에 달린 답글들 중에서 중요한 맥락이 플래그를 먹고 사라지고 있네요. 안타까운 상황입니다.
저는 아무것도 플래그 안 했어요!
뭐라고 써 있었는데요? 지금 댓글 하나가 통째로 플래그돼서 안 보여요.
실제로 증명된 것에 비해 주장이 과한 것 같습니다. 점진적인 특징 복잡도 증가와 초기 훈련 구조가 이후 훈련에 미치는 영향은 CNN이나 복권 가설(Lottery Ticket Hypothesis) 등이 나온 이후로 아주 오래전부터 알려져 있었고, 둘 다 파라미터 과적재(parameter overloading)와 양립할 수 없는 현상이 아닙니다. Multimodal Gap 연구( https://arxiv.org/abs/2203.02053 )는 네트워크가 명백히 의미적이지 않은 압축된 표현으로 향하는 경향이 있음을 시사하고, 그 밖에도 이미 논의 테이블에 올라온 고려 사항이 많습니다. 이 모든 걸 충분히 따져 봤다고는 생각하지 않으니, 기계론적 해석이 코앞에 왔다고 말하기 시작할 단계는 아니라고 봅니다.
닉은 점진적 특징 복잡도를 새로 주장하려는 게 아닙니다. 서로 무관한 것들이 뉴런 하나에 뭉쳐 있다고 가정했기 때문에 다의성(polysemantic) 사례 상당수를 잘못 읽었다는 얘기를 하는 겁니다. 또 블로그 글 전체를 읽어 보면 그의 주장이 그 논문과 모순되지도 않는다고 생각합니다. 그 논문이 주장하는 건 의미적 압축이 아니라 기하학적 압축이거든요. 그 논문은 뉴런의 발화 패턴을 분석하지 않는 반면, 닉은 무엇이 함께 발화하고 무엇이 발화하지 않는지를 분석하려는 겁니다.
그러니까 여기 방대한 증거 보고서가 있는데, 제 판단으로는 요지가 "AI 게놈 시퀀싱"이 생각보다 쉽다는 걸 논증하는 겁니다. 악명 높게 지저분한 뉴런을 다시 살펴보고, 여러 도구의 실패 사례를 따져 보고, 지저분한 것이 여전히 숨어 있는 곳을 확인하고, 네트워크에서 "다의성"이 어떤 식으로 나타나는지 정리하죠.
시퀀싱이 끝나면 실패를 설명하고 예측하고, 입력이 출력이 되기까지 거치는 경로를 조절하면 어떻게 되는지 예측하고, 모델이 학습한 알고리즘을 복원할 수 있게 된다는 게 이 사람들 생각입니다.
전 이게 기계론적 해석 가능성 쪽 사람들 생각처럼 풀릴지 100% 확신하지는 못하겠어요. 신경 표현과 경로가 "깨끗하다"면(사람이 이해할 수 있는 계층 구조로 정리돼 있다면) AI 실존 위험론자들이 걱정하는 행동도 대부분 잘 분류된 지식을 단순하게 종합한(즉, 대체로 선형 보간 비슷한) 결과로 귀결될 가능성이 적어도 아주 높아 보입니다. 그게 사실이라면 지식을 한 무더기 지워 버리는 것 말고는 그들이 우려하는 출력을 막을 방법이 없을 텐데, 그렇다면 희망적이지 않죠. 어쩌면 정렬 문제에는 해법이 아예 없을지도 모릅니다.
제가 그리는 그림은 도덕과 윤리를 평가하는 회로와 뉴런을 찾아내고, 경계 상황에서 그것들이 어떻게 작동하는지 파악해서, 분포 밖의 행동이 나오면 안전하게 인간의 판단에 맡기거나 멈추게 하는 것입니다. 거기에 더해 그 결과를 실제 인간의 가치에 비추어 검증하고요.
저는 그게 별로 희망적이지 않다고 봅니다. 명확하게 규정할 수 있는 양이 아니니까요. 솔직히 개처럼 훨씬 명확하게 규정되는 개념에 대해서도 이게 가능하다는 증거가 지금은 없다고 생각합니다. 될 수도 있죠! 하지만 확실히 알려진 바는 없고, 지금 가진 어떤 것도 그걸 뒷받침하는 방향으로 가고 있지 않아요.
이 글에는 말 그대로 "개" 뉴런이 가득하고, 더 큰 모델에는 "보스턴 테리어"나 "테리어" 같은 더 구체적인 뉴런도 나옵니다.
구체적으로, Kimi K3에서 잃어버린 지갑을 돌려주는 답을 이끈 "분실물" 뉴런과 "정직" 뉴런도 있었고요.
이 글의 가장 큰 소식이 바로 그겁니다. 기계론적 해석 가능성에서 많은 뉴런의 개념이 마침내 사람이 읽을 수 있게 되고 있다는 거요.
알아요, 그래서 제가 개를 예로 든 거고요. 구체적으로 어느 부분이 반대라는 거죠?
사실이라기보다는 희망 사항처럼 들리네요.
왜 굳이 '뉴런'을 환원해서 캡슐화하려는 걸까요? 서로 교체 가능한 특징으로 보려는 건가요?
학습 방식이 달라도 비슷한 가중치 활성화가 나타난다고 해도, '텍스트'만 따라가서는 수많은 해석을 놓치게 될 것 같습니다. 뉴런이 생겨난 바깥 맥락도 똑같이, 아니 더 많은 걸 알려 줍니다. 뉴런의 기원은 (아직은?) 가중치만으로는 제대로 포착되지 않으니까요.
네트워크가 자신의 맥락과 역사를 드러낼 수는 있겠지만, 네트워크 바깥에서 비롯된 것 중에 가중치에 궁극적으로 담길 수 있는 건 무엇일까요?
이 많은 글을 건너뛰고 바로 보시도록, 그가 "내가 대체로 이해한다고 느끼는 최초의 의미 있는 신경망"이라고 부른 링크가 여기 있습니다.
https://already-clean.goodfire.com/microscope/medium.html?layer=stage3.block2&neuron=0
저는 이게 뭘 보고 있는 건지 전혀 모르겠어요.
이 용도로는 이쪽 링크가 더 낫지 싶습니다.
일정 복잡도를 넘어선 알고리즘을 이해한다는 건 헛된 꿈이고, 신경망은 알고리즘입니다. 이론상 불가능하다고 하고, 실제로도 이론과 맞아떨어집니다. 신경망의 자명하지 않은 속성은 전부 결정 불가능합니다.
저기, 이보다 덜 직설적으로 말할 방법을 모르겠는데요. 댓글에서 라이스의 정리 얘기를 자주 하시던데, 너무 넓게 적용하고 계신 것 같습니다(저도 그 마음은 알아요. 정말 머리가 어질어질해지는 대단한 정리니까요). 하지만 그건 글의 주장을 필요 이상으로 훨씬 일반적으로 받아들일 때나 적용됩니다. 논문의 좁은 주장, 즉 현재의 특정 LLM들은 우리가 가진 도구로 쓸모 있게 분석할 수 있다는 주장으로 보면 라이스의 정리는 아예 관여하지 않아요.
수학에 빗대면 이렇습니다. 정지 문제가 증명 불가능한 것이 많다는 걸 보여 주는 건 맞지만, 그렇다고 Lean과 mathlib이 쓸모없어지지는 않습니다. 정지 문제의 정리가 그걸 막지 못하니까요.
이것도 마찬가지로 지나치게 넓은 해석을 부릅니다. 아주 구체적으로 말하면, 신경망 하나하나는 하나의 공식으로 쓸 수 있는 유한한 네트워크 하나 입니다. (다른 비유를 들자면, 일반적인 5차 방정식을 푸는 알고리즘은 없지만 개별 5차 방정식에 대해서는 쓸모 있는 사실을 증명할 수 있습니다.)
좋은 걸 알았네요. 아주 유용한 정보입니다.
인간도 결정 불가능하지만 우리는 계속 연구하잖아요.
그걸 말하는 이론이 뭔가요? 증명됐거나 적용 가능한 이론은 아닐 텐데요. 이 글을 보면 아주 복잡한 신경망에서도 상당한 이해가 실제로 가능하다는 게 분명하니까요.
말투를 보니 앤트로픽 기계론적 해석 가능성 팀이 첫 대규모 SAE 결과를 냈을 즈음에 보였던 열기가 조금 떠오릅니다. 모델을 이해하는 데 필요한 핵심 패러다임을 찾았고 이제 규모만 키우면 된다는 생각에서 나오는 일종의 경조증 같은 에너지요.