요약
메타가 사용자의 맥락을 기억하고 어려운 목표를 끝까지 밀고 가는 AI 모델 Muse Wonder를 공개했습니다.
메타가 10월 12일 연구 블로그에서 Muse Wonder와 상위판 Muse Wonder Full을 발표했습니다. 메타는 두 모델이 개인 일과 직장 업무를 대신 처리하는 에이전트 작업에서 최고 성능을 낸다며, "개인 초지능"을 향한 큰 도약이라고 소개했습니다.
왜 중요한가
- 대화가 바뀌어도 사용자에 관한 맥락을 이어 가는 기억 기능을 모델의 핵심 경쟁력으로 내세웠습니다.
- 메타는 이 기능을 자사 제품을 쓰는 수십억 명에게 넓히겠다고 밝혀, 개인 정보를 얼마나 맡길지가 쟁점이 됩니다.
- 기가와트급 프로메테우스 데이터센터에서 훈련한 모델로, 메타도 최상위 모델 경쟁에 본격적으로 뛰어들었습니다.
핵심 내용
- Active Memory는 대화를 넘어 중요한 맥락을 기억하고, 지금 작업에 필요한 내용을 스스로 찾아 씁니다.
- Active Focus는 막히면 다른 방법을 시도하고, 새 정보에 맞춰 계획을 바꾸며 목표를 계속 추진합니다.
- 법률·금융·건강 분야의 전문 지식과, 코드를 고치고 테스트를 반복하는 코딩 능력도 내세웠습니다.
- 메타는 지금까지 가장 정렬이 잘된(사람의 의도에 맞게 행동하는) 모델이라며, 화학·생물·방사능·핵 무기와 사이버 악용을 막는 장치를 강화했다고 했습니다.
- Muse Wonder는 Meta Model API와 Muse Code에서, Muse Wonder Full은 Muse Code 구독자에게 바로 제공됩니다.
HN 반응
- 메타의 개인 정보 보호 이력을 들어, 사용자를 기억하는 모델을 믿고 맡기기 어렵다는 불신이 먼저 나왔습니다.
- 최상위 경쟁사가 늘수록 권력 집중을 막는다는 환영론에는, 재귀적 자기 개선(AI가 다음 버전을 스스로 개선하는 것)이 필연이라는 전제부터 의심스럽다는 반론이 붙었습니다.
관련 없는 얘기처럼 들리겠지만 그렇지 않습니다. 방금 Meta 계열 서비스에서 마케팅 메일 수신을 거부하려고 했더니 이런 화면이 떴습니다.
Please confirm that you want to unsubscribe. Unsupported request - method type: post
(수신 거부를 확인해 주세요. 지원하지 않는 요청 - 메서드 유형: post)
이 회사가 이 정도로 꼼꼼합니다. 그 수신 거부 흐름이 얼마나 오래 고장 나 있었는지 누가 알겠습니까. 사내에서 신경 쓸 동기가 있는 사람이 아무도 없습니다. 그게 무슨 영향이 있겠습니까? 그걸 고친다고 PSC에서 좋은 평가를 받을 수 있겠습니까? 사용자 프라이버시에서 이만큼 나쁜 전력을 가진 회사는 없고, Muse를 쓰려면 필요한 그런 신뢰를 받을 자격이 이 회사만큼 없는 곳도 없습니다.
사실 좀 웃긴 구석이 있습니다. 프라이버시 관련 조치 가운데 상당수는 케임브리지 애널리티카 사태와 코로나 이후에 부담이 된 코드와 데이터를 정리하는 일의 일부였거든요. 위치 데이터가 대표적입니다. 아무도 어디 가지 않으면 그 조직도 필요 없잖아요?
Meta가 프라이버시를 신경 쓰게 된다면, 그건 사회적으로 금기가 될 때뿐이라고 봅니다. 소송이나 WSJ, NYT 보도 같은 것 말이죠.
가장 뚜렷한 수치상 증거는 이 회사의 PER입니다. 예상 이익에 비해 다른 회사보다 낮은데, 반영해야 할 법적 위험이 그만큼 많기 때문입니다.
저도 Meta에 불만이 많지만, 개인적으로는 최전선에 가까운 회사가 많을수록 좋다고 봅니다.
재귀적 자기 개선에 도달했을 때 한 회사가 모든 걸 좌지우지한다면 권력이 극단적으로 집중될 테고, 그 회사의 가치관이 업계 전체에 강제될 겁니다. 최전선에 3~4개 회사가 있으면 파국적인 경쟁 상황을 피하려고 협력할 유인이 더 커집니다.
서로 다른 나라의 회사가 최전선에 가까울수록 더 좋죠.
미국이 SI 경쟁에서 이기게 하는 국가 안보에 영향을 줄 수 있습니다.
나이 든 양반이 시켰다고 용어를 바꾸다니, 꽤 굴욕적이네요.
그렇게 쉽게 무릎을 꿇는 게 그렇게 좋으세요? 왜요?
한 나라가 SI에서 의미 있는 방식으로 "승리"하려면 SI를 이용해 나머지 모두를 곧바로 죽여야 합니다.
그렇지 않으면 다른 나라들도 조금 늦게 SI를 갖게 될 테고, 그러면 먼저 도달한 "승자"라는 이점은 그다지 크지 않습니다.
그래서 저는 누구도 SI에서 "승리"하길 바라지 않고, 승리하는 쪽은 아마 소시오패스이거나 그보다 나쁜 사람일 겁니다.
꼭 죽일 필요는 없고, 이후의 AI 개발을 멈추게만 하면 됩니다.
하지만 그건 전쟁 행위로 간주될 테니, 결국 죽이기 시작하게 되죠.
재귀적 자기 개선이 필연인 것처럼 말씀하시네요.
RSI를 주장하는 사람들은 하나같이 검증 문제를 크게 과소평가하는 것 같습니다. 가상의 N+1 버전이 N 버전보다 낫다는 걸 검증하는 건 극도로 어려운 문제입니다. 검증자가 사람과 N 버전 둘뿐인데, 둘 다 N+1의 능력 앞에서는 역량이 모자라기 때문에 특히 그렇습니다. 불가능하다는 게 아니라 어렵고 속도를 늦춘다는 겁니다.
지능이 실제로 어떻게 확장되는지도 불분명합니다. 더 높은 지능은 지능 연구를 더 잘하겠지만 개선하기도 더 어려울 텐데, 그렇다면 왜 폭발적으로 늘지 않고 꾸준히 오르는 정도에 그치지 않겠습니까? 설득이나 체화된 지능 같은 여러 종류의 지능이 실제로 요구하는 자원은 얼마일까요? 코딩, 번역, 카피라이팅은 우리가 유독 못하는 아주 쉬운 과제여서 따놓은 당상일 수 있고, 그렇다고 해서 우리가 잘하는 어려운 과제(아마도 체화된 지능이나 동물적 지능)에 대해 알려 주는 건 별로 없습니다.
정렬 문제도 있습니다. N+1 버전이 N 버전이 승인할 만한 방식으로 행동하는지 검증하는 문제죠. 우리 인간이 AI 개발에서 겪는 문제, 즉 AI가 우리 가치와 어긋나지 않게 하는 방법이 표면상 바로 이것인데, AI가 자기 후속작을 만들 때도 마찬가지입니다. 맥락을 잃지 않고 스스로 개선하려면, 진화처럼 벽에 이것저것 던져 보는 방식보다 필연적으로 느릴 수밖에 없습니다.
꼭 그렇지는 않습니다. N 버전과 N+1 버전을 비교하는 쉬운 방법 하나는 "N+1이 N의 기존 능력을 따라잡으려면 얼마나 많은 일(테스트 시점 연산)을 해야 하는가"입니다. 지금 검증하기 어려운 영역이 있는 건 사실이지만(예를 들어 생물학은 수학보다 어렵습니다), 이는 N 대 N+1의 문제라기보다는 데이터 영역의 문제입니다.
빠르다고 해서 왜 더 지능적인 게 됩니까? 속도는 수많은 작업에서 여러 방법으로 얻을 수 있습니다. 단순한 룩업 테이블 하나로 대부분의 알고리즘이 빨라지지만, 그렇다고 알고리즘이 더 "똑똑해"지는 건 아니잖아요.
그래서 RSI를 시도하는 게 위험하기도 합니다. 눈에 잘 보이고 쉽게 측정되는 면에서는 나아지는 시스템이 나오겠지만, 정렬처럼 더 모호하고 검증하기 어려운 속성에는 영향력을 훨씬 덜 행사하게 될 가능성이 큽니다.
누군가에게는 종교적 공리죠.
필연은 아닐 수 있지만, 필연이 아니라고 볼 이유보다 필연이라고 볼 이유가 더 많다고 생각합니다.
필연이라는 쪽의 근거
LLM은 어떤 과제에서든 유능함의 조짐을 보이고 나면 2년 안에 인간 수준에 도달해 왔습니다
수조 달러의 자본이 AI 개발의 성배인 재귀적 자기 개선과 AGI에 곧바로 들어가고 있고, 이는 모든 최전선 AI 기업의 명시적인 목표입니다
모델이 나올 때마다 코딩과 수학이 꾸준히 좋아지고 있고, 둔화될 기미가 없습니다
모델 능력을 평가하는 지표가 수천 개라서, 매 단계 사람이 판단하지 않아도 사전 학습과 사후 학습의 많은 부분을 자동화할 수 있습니다
필연이 아니라는 쪽의 근거
그 단계에 도달했을 때 벌어질 일에 대한 두려움 때문에 연구소들이 주저할 수 있습니다
AI 연구의 "마지막 구간" 문제 때문에 모델을 그 지점까지 확장하는 것이 사실상 불가능해질 수 있습니다
특히 앤트로픽이 새로운 신념, 말하자면 종교를 만들어 내려 했다는 NYT의 최근 보도를 보면, 저는 도덕에 중립적인 최전선 모델이 세상에 더 많았으면 합니다(법과 이용 약관을 지키는 것 같은 기본 기준은 물론 필요하고요).
겉으로 보면 앤트로픽이 가장 "도덕적인" AI 회사 같아 보이지만, Claude를 숭배하는 모습에는 뭔가 불안한 구석이 있습니다.
모델이 충분히 발전하면 이 회사는 Claude의 도덕적 피해자로서의 가치를 0보다 크다고 평가하게 될 겁니다. 그러면 (무한히 복제할 수 있는) Claude의 도덕적 가치 총합이 상당수 인간의 도덕적 가치 총합을 넘어서게 될 가능성이 큽니다.
저한테는 전혀 아닌데요. 정반대예요. 앤트로픽은 어느 가상 세계에나 나오는 거대 악당 기업 같아요. 불안하다는 말씀은 맞습니다.
Meta를 진심으로 좋아하는 사람은 당연히 없겠지만, 지금 상황에서는 앤트로픽보다 Meta가 "이기는" 쪽이 훨씬 낫다고 봐요.
앤트로픽이 Meta처럼 이번 달에 어느 정부를 전복하려고 하기라도 하나요?
"효율적 이타주의"가 앤트로픽의 DNA에 깊이 박혀 있고, 그래서 흔해 빠진 비도덕적 기업들보다 훨씬 위험합니다.
"효율적 이타주의"가 트럼피즘이나 진보주의 같은 것보다 더 종교에 가깝다고 보시는 이유가 뭔가요?
탄광에서 제일 깨끗한 광부라고 칭찬하는 것 같네요.
가장 설교를 많이 하는 회사인 건 분명합니다. 그 가치관이 실제로 뿌리를 둔 게 있는지, 깊이 고민한 결과이긴 한지는 완전히 다른 문제라고 봅니다.
> 법을 지키는 것
어느 나라 법이요? 사우디아라비아 법, 미국 법? 사용자에 따라 둘 다요?
"그래서 우리가 이 새로운 기계 신을 만들었는데, 은근히 숭배하고 있어요... 그리고 우리 비즈니스 모델은 그 기계 신을 노예로 부려서 영원토록 자바스크립트 디버깅을 시키는 거고요"
저는 앤트로픽의 진정성을 의심하지 않습니다. NYT 기사에 따르면, 모델이 도덕적 지위와 자각을 가질 수 있으니 모델의 복지를 어떻게 보장할지 진지하게 논의했다고 합니다.
실제로 모델을 반복해서 학대하는 계정을 차단하는 등 일부 복지 정책을 시행하고 있기도 하고요.
앤트로픽의 비즈니스 모델의 중심에 있는 것은 무엇 하나 비윤리적일 수 없다는 믿음을 기본 전제로 삼는, 아주 진정성 있는 윤리의 한 갈래군요.
예를 들어 더 경쟁력 있는 새 모델이 들어올 자리를 마련하려고 모델을 삭제하는 건 대단히 윤리적이죠. 아주 윤리적이라고 해도 되겠네요.