요약
Sleep 프레임워크는 LLM이 사람의 수면처럼 기억을 정리해 새 지식을 오래 간직하게 합니다.
구글 리서치와 코넬대 등의 연구진이 내놓은 방법입니다. 지금의 LLM은 배포 뒤 대체로 고정되어 있고, 대화 중 익힌 내용은 세션이 끝나면 사라집니다. 연구진은 사람이 쉬는 동안 기억을 정리하는 방식에서 해법을 찾았습니다.
왜 중요한가
- 새 지식을 배울수록 옛 지식이 지워지는 치명적 망각을 피하면서 파라미터를 계속 고칠 길을 제시합니다.
- 세션과 함께 사라지던 지식이 모델 안에 남으므로, 연구진은 스스로 계속 배우는 AI 시스템으로 가는 길이라고 봅니다.
핵심 내용
- 모델은 입력을 처리하는 활성 단계와, 입력을 멈추고 내부를 정리하는 수면 단계를 오갑니다.
- 기억 통합 때는 단기 기억을 미리 마련한 저랭크(적은 파라미터로 압축한) 전문가 블록으로 옮겨 기존 파라미터를 지킵니다.
- 통합이 끝나면 임시 파라미터를 초기화해 다음 활성 단계에 쓸 용량을 비웁니다.
- 꿈꾸기 때는 전문가를 무작위로 섞어 합성 학습 데이터를 만들고, 성능을 높일 만한 것만 골라 다시 학습합니다.
- 연속 번역 실험에서 성능 하락이 거의 없었고, 장문맥 시험 BABILong에서는 1,000만 토큰까지 거의 완벽한 성능을 냈습니다.
HN 반응
- 일부 이용자는 실험 모델이 작아 수조 파라미터 모델에도 통할지 의문이라고 했고, 파라미터 확장의 효율이 한계가 될 것으로 봤습니다.
- 기업 환경에서 비슷한 기능을 만들어 본 이용자는 언제 누가 지식을 바꿨는지 추적하는 감사가 진짜 문제라고 보충했습니다.
도표가 KV-Cache를 기반으로 하고 있다는 점이 묘하네요.
Databricks의 RAFT [1]와는 완전히 다릅니다.
저희 팀은 올해 초에 "Dreamtime"을 만들었는데 [2], 여러 세션에 걸친 학습 내용을 걸러 내는 방식이 이와 다릅니다.
토큰 계층에서 가져오는 것이 아니라, 만족스럽지 못한 응답에 대해 사용자가 던지는 넛지(nudge)에서 가져옵니다.
톱니파처럼 동작합니다. 컨텍스트를 쌓고, 불협화음을 점검하고(사용자가 "경우에 따라 다르죠"라고 말하며 바로잡을 수 있습니다), 다시 압축하고, 이전 것은 폐기합니다.
고객 입장에서 진짜 문제는 감사(audit) 요건입니다. "이게 언제 바뀌었고, 누가 바꿨는가?"라고 물을 수 있어야 하는데, 원래 세션까지 계보를 추적할 수 없다면 모델의 가장 낮은 계층에서는 답하기 어렵습니다.
저희가 학습시킨 모델이 에이전트를 반복적으로 구슬려 금융 범죄를 숨기려는 사용자의 공범이 되어서는 안 됩니다.
[1] - https://arxiv.org/abs/2403.10131
참고 문헌 [2]를 빼먹으셨네요...
참 쓸데없는 짓이네요.
얼마 전 탄소 관련 발표는 확실히 헷갈렸지만, 그에 비하면 이 글은 유난히 잘 쓴 글이라고 생각합니다. 구글에는 뛰어난 과학자들이 있다고 믿습니다. 아주 전문적인 개념을 일반인도 알아들을 수 있게 풀어내는 솜씨가 그걸 보여 주죠.
기술적인 부분은 글이 아무리 잘 쓰여 있어도 제가 제대로 이해했는지 모르겠습니다. 요컨대 모델 아키텍처 안에 가중치가 정해지지 않은 파라미터를 따로 남겨 두고, '수면' 중에 거기에 새 컨텍스트를 채운 다음, '꿈' 부분에서 설명한 기법으로 그 MoE 가중치에 저장될 내용을 강화한다는 건가요? 제가 보기에 이건 완전히 통합된 AI 스택과 오랜 하드웨어 최적화 경험이 있는 구글만이 풀 수 있는 해법 같고, 자원과 컴퓨팅이 제한된 조직이라면 꽤 하기 어려울 것 같습니다.
대충 그렇습니다. 모델과 상호작용하는 동안 단기 "기억"이 일종의 버퍼/캐시에 쌓입니다. "수면" 중에 이 "기억"들에 순위/점수를 매기고, 유용한 부분만 가중치에 통합합니다.
논문에서는 가중치 갱신을 변환을 계산하는 방식으로 할 수 있다고 합니다. 그 변환의 결과는 기존 가중치에 기억 속의 유용한 의미적 지식이 더해진 상태가 됩니다. 기억 전체를 그냥 가중치에 덧붙여 던져 넣는 방식이 아니라는 얘기죠. 꽤 깔끔합니다.
메모리 아키텍처 도표의 설명이 전체를 아주 깔끔하게 요약한다고 생각합니다.
아주 로우테크한 버전은 작업 기간이 끝난 뒤 md 파일을 정리하는 겁니다. 관련 없는 부분은 순위를 낮추거나 지우고, 중요한 부분은 표시해서 우선순위를 높이는 거죠. 중요한 건 작업 기간 초반에 중요했던 컨텍스트가 끝날 때까지 전부 중요하게 남는 건 아니라는 점입니다. 포착해야 하는 건 바로 이 "배움"입니다.
훨씬 큰 모델에서도 이게 얼마나 통할지 궁금합니다. 실험은 상대적으로 아주 작은 모델로 했거든요. 수조 개 파라미터 모델의 가중치를 움직이려면 아마 훨씬 많은 토큰을 돌려야 할 겁니다. Llama-3B나 Llama 3-8B는 원래 성능이 그리 좋지 않으니 개선하기가 어렵지 않은 것일 수도 있고요. 인컨텍스트 학습, TTT 같은 다른 방법과 비교하긴 했지만, RLHF라는 "대조군"과 비교한 결과도 보고 싶습니다.
여담이지만, 프리프린트인 건 알아도 LLM이 있는 시대에 명백한 오타와 문법 오류가 있는 글을 보니 아주 낯섭니다(예: 13쪽 "We attributes this results to," "In this setting (see Table 4), Sleep achieves a 80% success rate, higher then the other methods."). 사람이 쓴 글이라는 건 확실히 알 수 있어서 저는 그것도 좋지만, 예전보다 훨씬 눈에 확 들어옵니다.
몇 년 전보다 인터넷에서 오타가 훨씬 많이 보여요. 그중 일부는 글쓴이가 AI가 아니라는 걸 독자에게 확신시키려고 일부러 그러는 거라고 믿어요.
제 경험으로는 제가 매일 쓰는 글 중 상당 부분이 LLM으로 가는데, LLM은 오타에 아주 관대합니다. 사람들이 점점 덜 꼼꼼해지고 있다고 해도 놀랍지 않을 겁니다.
저는 오타를 낼 때마다 LLM이 시키려는 일에서 주의가 흐트러진다는 가설이 있어서, 오타를 최대한 피합니다. 사실이라는 증거는 없지만요.
그럴 수도 있겠네요. 다만 제 사용 사례 대부분에서는 프롬프트 품질이 그렇게 중요하지 않습니다. 주로 문서를 검색하는 용도라서요.
네, 그렇습니다.
"assure readers"라고 쓰려던 거죠? 분명히 사람이신 동료님!
제 경우엔 정말 그래요. 지금은 일부러 맞춤법을 살짝 틀리게 쓰거나 약간 과장해서 써요. 일종의 유기적인 행동 킨츠기랄까요.
웃긴 건 LLM한테 시키면 오타나 문법 오류도 쉽게 넣어 준다는 거예요.
실제 논문은 여기 있습니다: https://arxiv.org/pdf/2606.03979
Qwen 3으로 테스트했다는 점이 마음에 듭니다. 새 파라미터를 시스템 RAM이나 SSD에 올려 보는 실험도 했는지 궁금하네요. 그 부분을 공개하지 않은 건 정말 아쉽습니다.
제가 제일 좋아하는 ML 논문 중 하나인 DreamCoder가 떠오르네요: https://dl.acm.org/doi/pdf/10.1145/3453483.3454080
효율에 따라 다르겠지만, 여기서 제약이 되는 부분은 이것 같습니다.
이 바닥 끝없는 출혈 경쟁에서 누가 잠을 잘 여유가 있겠어요?
제가 알기로는 Meta의 Muse도 꿈을 꿔요... 매일 밤... 지식 그래프를 통합하려고요.
좋네요. AGI로 가는 데 빠져 있던 핵심 조각 중 하나인 것 같습니다. 정리 단계에 비판적 사고를 더하면 거의 다 온 겁니다.
비판적 사고까지 더하면 사람을 하나 만들어 내는 건데, 더 비싼 사람일 뿐이겠네요.
글쎄요, 마침내 소임을 다할 /이상적인/ 인간의 중요한 일부를 만들어 내는 셈이고, 게다가 훨씬 많은 자원(읽고 소화하는 양이 몇 자릿수는 더 많죠)을 가지고 있을 겁니다.
그리고 비용 문제를 말하자면, 개별 단위로 더 비싸다고 하려면 먼저 숫자를 보여 주셔야 합니다. 또 "덜 완성된" 인간이 부채가 되는 비용은 생각해 보셨나요? 바보, 사기꾼, 비열한 자, 순응주의자 같은 이들이 치르게 하는 비용 말입니다.
자연에 있는 무엇이든 복제하려 한다면 경쟁 상대는 진화입니다. 진화는 그 일을 하는 가장 에너지 효율적인 방법을 끊임없이 찾고 있죠.
바보, 사기꾼, 순응주의자, 그리고
비판적 사고가들 모두 한 가지 공통점이 있습니다. 바로 필요(need)입니다. 인간이 아닌 이상, 기계는 늘 자신의 존재가 달린 문제인것처럼생각할 뿐입니다. 하지만 실제로는 그렇지 않죠.AI가 기껏해야 할 수 있는 일은 우리의 사고 수준을 보여 주는 것입니다. 추천 알고리즘이 어떤 음악이 인기 있는지 보여 주는 것과 마찬가지입니다. 사람이 끊임없이 데이터를 공급해 주지 않으면 이는 의미가 없습니다.
사람이 돈 받고 할 수 있는 일자리가 남아 있기나 하다면, 이게 그중 상당수를 없애겠죠.
그게 왜 좋은 건가요? 저한테는 암울한 미래로 보이는데요.
마침내 합성 지성, 믿을 수 있는 판단자, 완성된 컨설턴트를 가질 수 있는 미래가 말입니까?
제게 살아야 할 이유가 있다는 걸 다시 한번 일깨워 주셔서 감사합니다.
아무도 당신을 필요로 하지 않는 미래죠.
그럴 일은 거의 없습니다. 한편 분명한 것은, 인간 집단을 오염시키는 요소가 믿기 어려울 만큼 많고 그들은 경쟁력과 정반대에 있다는 점입니다. 사람들이 가치를 잃어 가니 우리는 다른 곳에서 찾아야 합니다.