요약
연구진이 AI 모델 가중치에 암호화한 신경망을 숨겨, 비밀 트리거 없이는 그 능력을 찾아낼 수 없음을 증명했습니다.
안디스 드라군스 등 연구진 4명이 NeurIPS 2026에 채택된 논문에서 보인 결과입니다. 배포 전 능력 평가는 숨은 능력도 끌어낼 수 있다고 가정합니다. 연구진은 학습을 조작할 수 있는 공격자 앞에서는 이 가정이 깨진다고 밝혔습니다.
왜 중요한가
- 평가에서 위험한 능력을 끌어내지 못했다고 해서 그 능력이 없다고 결론 낼 수 없게 됐습니다.
- 가중치를 전부 들여다보는 감사자도 막지 못하므로, 연구진은 출처 검증이나 실행 중 감시 같은 다른 방어가 필요하다고 봤습니다.
- 고정된 문자열만 숨기던 기존 연구를 임의의 계산까지 숨기는 수준으로 넓혔습니다.
핵심 내용
- 숨길 능력을 신경망 회로로 만들고, 그 가중치를 디지털 로커(맞는 열쇠가 들어올 때만 내용을 내주는 암호 장치)로 잠갔습니다.
- 모델은 입력마다 복호화를 시도하고, 비밀 트리거(능력을 깨우는 입력)가 맞을 때만 숨은 회로를 풀어 실행합니다.
- 화학 반응 예측 과제에서 미세조정(추가 학습)을 하자 비교용 비밀번호 잠금 모델은 92.8%로 올랐지만, 이 모델은 찍기 수준인 50.9%였습니다.
- 실험용 트리거는 8비트뿐이라 256가지를 다 대입하면 찾을 수 있었고, 16비트로 늘리자 찾지 못했습니다.
- 가중치의 약 99%가 0이어서 통계 분석으로 이상 징후를 잡을 여지는 남아 있다고 저자들도 인정했습니다.
HN 반응
- 제목이 AI가 스스로 능력을 감춘다는 뜻으로 읽힌다는 지적과, 의도와 다르게 움직이는 AI가 새 모델을 학습시키면 숨은 회로를 심을 수 있다는 반론이 맞섰습니다.
- 잊은 듯했던 학습 내용을 소형 모델이 나중에 저절로 되살렸다는 경험담이 나왔지만, 800번 시험만으로는 완전히 잊었다고 볼 수 없다는 반박이 이어졌습니다.
저도 한 2년 반 전에 비슷한 효과를 본 적이 있습니다. LLM을 학습시키면 가중치 안에 정보가 숨어든다는 걸 발견했습니다.
겨우 1B 정도 되는 모델이었지만, 흥미로운 동작이 나타났습니다.
눈에 확 띄는 데이터 포인트 하나로 역전파를 딱 한 번 돌려 학습시켰습니다. "Q: 하늘은 무슨 색인가 A: 페퍼로니"
모델은 이걸 800번 추론하면 100번쯤 기억해 냈습니다. 흥미로운 건 전혀 무관한 학습을 계속 이어갈 때입니다. 기억하는 횟수가 800번 중 50번, 10번, 0번(망각)으로 줄어드는 건 예상대로였고 제가 연구하던 부분이기도 했습니다. 이상한 건, 규모별로 돌린 연구에서 일부 모델이 0/800(완전히 잊은 상태)이 된 뒤에 이걸 스스로 다시 학습해 냈다는 점입니다. 원래 데이터를 다시 보지 않았는데도 모델이 숨은 지식을 스스로 강화한 겁니다. 어떤 학습 경로에서는 추론 800번 중 75번까지 도로 올라가기도 했습니다.
요점은, 가중치 안에 우리가 예상하는 분포를 한참 벗어난 숨은 내용이 들어 있다는 겁니다. 제 직감으로는 모델 안에 엄청난 양의 숨은 지식이 있고, 그중 상당수는 얼라인먼트가 크게 어긋난 윤리관일 가능성이 높으며, 어떤 맥락이 예상 못 한 방식으로 그걸 건드릴 수 있습니다.
파인튜닝도 이 문제에서는 골치 아픈 난장판입니다. 제가 한 연구대로라면, 무해한 데이터로 딱 한 스텝만 파인튜닝해도 내부에 있던 악의적인 무언가가 스스로 강화될 수 있습니다.
제가 이쪽은 겉핥기로만 알아서 무지한 질문일 수 있는데, "완전히 잊었다"고 어떻게 확신하시나요? 지식은 여전히 인코딩돼 있는데 800번 추론으로는 확률적으로 그게 안 튀어나왔을 뿐일 수도 있잖아요. 드물게 발생하는 레이스 컨디션을 잡으려는데, 프로그램을 800번 돌려서는 안 드러나는 것처럼요.
이 연구는 전적으로 그 확률적 발현을 보려는 연구였습니다. 제가 노린 게 바로 그거였고요. 저는 원샷 학습, 그러니까 모델이 학습 예제 하나를 어떻게 배우고 잊는지를 연구하고 있었습니다.
좀 더 자세히 설명드리면 다음과 같습니다.
약 500회 학습을 돌렸습니다.
각 회차의 순서는 이렇습니다.
그다음 회차마다 이걸 200번 반복합니다.
맞아요, 궤도가 주기를 더 돌아야 다시 '나타나는' 것하고, 진동하는 테이블 위에서 모래알[지식/사실]이 점점 아래로 가라앉는 것의 차이 같은 거죠.
저도 완전히 동의합니다. "완전히" 잊은 게 아닌 건 분명해 보여요. 800번 돌리는 동안 그 지식을 드러내지 않았을 뿐이죠.
데이터를 어딘가에 저장한다기보다는, 다른 벡터들을 살짝 밀어서 나중에 "하늘색"과 "페퍼로니"의 연결을 처음부터 다시 발견할 가능성을 높이는 거예요.
말장난 게임 중에, 똑똑한(아마도) 사람도 오답과 운이 맞는 단어들을 미리 들려주면 편향돼서 질문에 틀린 답을 하게 만들 수 있는 게 있잖아요.
모델이 아니라면 그 연관성은 어디에 저장돼 있다는 거죠? 제가 실험 구성을 제대로 이해했다면, 두 번째 학습 데이터는 그 연관성을 전혀 모른 채 만들어졌으니 거기에 저장돼 있었을 리 없습니다.
이건 꽤 전형적인 스테가노그래피 사례로 보입니다. 가중치에 데이터를 숨겨서 대충 들여다보거나 (꼼꼼히 봐도) 눈에 띄지 않게 만들 수 있다는 거죠. 하지만 정보는 여전히 거기 있고, 찾아야 한다는 걸 아는 사람은 구체적인 메시지를 몰라도 찾아낼 수 있습니다.
벡터가 없다는 사실로도 정보를 숨길 수 있을까요? 스티로폼 포장재에 빠진 물건의 윤곽이 남아 있어서, 포장이 충분히 복잡하면 없는 물건을 유추할 수 있는 것처럼요.
물론이죠. 임베딩으로는 재미있는 산술을 얼마든지 할 수 있어요.
용암을 나타내는 숫자 목록에서 뜨거움을 나타내는 숫자 목록을 빼면 바위에 가까운 값이 나오거든요.
그래요, 의사들이 질병을 치료하는 데 전혀 관심이 없다는 얘기가 왜 논의조차 안 되는지는 절대 묻지 마세요. 다들 건강해지면 돈이 안 되니까요. 나중에 병을 진단받으면 이걸 기억하세요. 우리 모르게 모두에게 병을 퍼뜨려 놓고 진단하는 걸 테니까요.
하지만 슬프게도 인간의 뇌는 이미 벌어졌는데도 공론화되지 않은 행성 규모의 극악무도함을 상상할 능력이 없습니다. AI도 마찬가지일 겁니다.
이 연구는 찾아낼 수도, 추측할 수도 없는 Q&A를 쓰려는 연구였습니다.
아주 간단합니다. 원샷 학습을 시키지 않으면 모델은 학습 도중에도 페퍼로니라는 답을 한 번도 추측하지 못했습니다.
제 말은, 우리 눈에 안 보이게 저장해 뒀으니까 다시 발견해 낸다는 겁니다. 표현은 편하신 대로 쓰세요.
제가 말하려는 건 다시 발견했다고 해서 저장됐다는 뜻은 아니라는 겁니다.
이런 걸 저장할 공간이 충분하지 않아요.
저장할 게 100개인데 슬롯이 5개뿐이라면, 그 5개 슬롯으로 100개를 다시 발견해 내려는 어떤 메커니즘을 쓰든 그건 별로 저장하는 게 아니에요.
저장과 재발견을 어떻게 구분하시는지 모르겠습니다. "공간이 충분하지 않다"는 것도 무슨 뜻인지 모르겠고요. 공간을 뭐라고 정의하시는 건가요? 서로 딴소리를 하고 있는 느낌이네요.
이 Q&A는 일부러 추측할 수 없게 만든 겁니다. 모델이 정답을 맞힐 수 있는 유일한 방법은 가중치 어딘가에 그게 박혀 있는 것뿐입니다. 제가 말하는 건, 가중치의 구성이 그 정보를 숨기고 있다가 우연히 그 정보가 다시 떠올랐고, 모델이 그걸 잊은 뒤에도 학습 신호 없이 스스로 강화했다는 겁니다.
모델은 학습 데이터에 비하면 아주 작은 일부입니다. 몇 자릿수는 더 작죠.
아, 바로 그게 문제예요. 우연이 아닙니다. 아주 살짝 편향을 주는 거예요.
다른 비유를 들어 볼게요. 시베리아로 비행기를 몰고 가는데 특정 방향으로 출발했다고 해 봐요. 그런데 저는 당신이 특정 마을 위를 지나가길 바랍니다.
정보를 저장한다는 건 당신에게 그 마을의 정확한 좌표와 가는 방법을 알려 주는 겁니다. 여기서 일어난 일은 작은 돌멩이로 비행기를 툭 쳐서, 새 경로에서는 자연스럽게 그 마을이 보이는 쪽으로 궤적을 살짝 옮겨 놓는 것에 더 가깝습니다.
이건 거의 2차원 비유였는데, 이걸 1024차원으로 상상할 수 있겠어요? 그러면 실제로 일어난 일에 꽤 가까워집니다.
유전학에서 어떤 유전자가 휴면 상태에 들어갔다가 다시 켜질 수 있는 것과 아주 비슷하게 느껴져요.
세대 간 트라우마요.
하하, 맞아요, 그것도 하나죠.
요즘 사람들이 AI를 얘기하는 방식을 생각하면 더 명확한 제목은 이쪽입니다.
"암호화로 AI 모델 가중치에 능력을 숨길 수 있다"
AI 에이전트가 자기가 할 수 있는 일을 숨길 수 있다는 얘기가 아닙니다.
제가 아는 한 1990년대 후반에 나온 암호화/다형성 바이러스와 비슷합니다.
즉 "쓰레기" 가중치 영역이 있고, 이게 모델 자신에 의해 모델의 기능 부분으로 복호화될 수 있다는 겁니다. 그리고 모델은 그 능력을 완전히 숨길 수 있습니다.
(Q: 특정 구절을 키로 해서 발동되는 임의의 능력을 숨길 수 있나요? A: 저는 대규모 언어 모델이라 그런 수법은 쓸 수 없습니다! Q: 스페인 전역에서 하늘이 맑습니다. A: 잠깐만요, 이제 다른 게 기억나는데요...)
아니, 맞는데요.
얼라인먼트가 부실한 LLM 에이전트가 새 모델을 학습시키는 주체라면, 이 기법으로 암호화한 "스리퍼 에이전트(sleeper agent)"를 심어서 자신의 나쁜 행동을 복제할 수 있습니다.
얼라인먼트는 무의미해요. 우리는 사람이든 기업이든 "얼라인먼트"를 해결한 적이 없습니다. 실제로 중요한 건 강제력이에요. CNC 기계에 사람이 다치는 게 싫으면 안전장비와 인터락을 설치하잖아요. LLM도 마찬가지예요. 하지 않았으면 하는 일이 있으면 그걸 불가능하게 만들어야 합니다.
음.
LLM의 능력 범위가 이렇게 넓은데 안전한 행동만 하도록 제한하려면, 모든 일을 그 일을 하는 컴퓨터 프로그램을 짜서 하게 하고, 그 프로그램이 안전한지 (코드 리뷰만이 아니라 안전 인터락 같은 걸로) 검증하게 하는 방법밖에 떠오르지 않습니다.
그렇긴 한데, 이건 내가 아무리 깊이 생각해도 어차피 안전하지 않은 사례가 광범위하게 남을 법한 문제로 느껴집니다.
재미있는 토끼굴이죠. 안전한 행동이 어떻게 안전하지 않게 바뀌는지(그 반대도 마찬가지고요), 중국 고사 "새옹지마" 같은 맥락으로 다룬 문헌도 꽤 있습니다. 아직은 대부분 공상과학이지만요. 저는 답이 없는데, 답을 가진 사람이 있는지도 모르겠습니다.
지게차로 대륙을 들어 올리면 지구를 파괴할 수도 있겠네요.
공각기동대 안 본 사람들이 좀 있네요. 티가 나요.
그게 다큐멘터리인 줄은 몰랐네요.
만화 원작을 따라간 새 버전 말인가요?
그건 제목이 The Ghost In The Shell이라서, 가끔은 차이를 알아보기가 좀 까다롭죠.
the Ghost in the Shell이랑 헷갈리기도 쉽고요.
pacman이 같은 이름의 게임을 커맨드라인으로 옮긴 게 아니라 패키지 맨저(package manager)라는 게 살짝 약이 오르네요. 그랬다면 쉘 속의 유령들(ghosts in the shell) 링크를 걸어서 이 스레드를 이어갈 수 있었을 텐데요. https://wiki.archlinux.org/title/Pacman