요약
구글 딥마인드가 소리까지 함께 만드는 실시간 세계 모델 Genie 4를 공개했습니다.
구글 딥마인드가 10월 27일 블로그에서 발표한 새 세계 모델(사용자 조작에 반응하는 가상 환경을 실시간으로 만드는 AI)입니다. 화면과 소리, 대사를 한꺼번에 생성하고, Gemini 모델의 추론 능력을 빌려 복잡한 장면을 이어 간다고 밝혔습니다.
왜 중요한가
- 영상을 만들어 보여 주는 데서 그치지 않고, 사용자가 말로 장면을 바꾸며 조작하는 단계로 넘어갔습니다.
- 딥마인드는 이 기술로 로봇과 AI 에이전트가 연습할 가상 훈련장을 만들 수 있다고 봅니다.
- 영화 장면 미리 보기, 게임 시제품, 기록 사진 재현처럼 시험 사용자들의 실제 쓰임새도 나오고 있습니다.
핵심 내용
- 글로 날씨나 카메라를 바꾸거나 사람과 사물을 넣으면 Gemini가 장면에 맞게 반영합니다.
- 실시간 세계 모델로는 처음으로 배경음과 등장인물의 대화를 직접 생성한다고 밝혔습니다.
- Gemini 3.8 Flash 같은 모델이 목표를 단계로 나누고, 화면을 확인하며 진행을 이끕니다.
- 지금은 연구 프리뷰(정식 출시 전 시험판)이며, Google AI Ultra 구독자와 Gemini API 초기 파트너에게 제공할 예정입니다.
- 오래 돌리거나 장면을 오가면 세부 모습과 물체가 달라지는 한계가 있다고 스스로 밝혔습니다.
HN 반응
- 화면 밖에 나갔다 돌아오면 성이 하나 늘거나 헬멧이 생긴다는 지적이 많았고, 3D 세계 상태를 따로 둬야 한다는 의견이 이어졌습니다.
- 3년 전 영상 생성보다 크게 나아졌다는 평가와, 에이전트 훈련용 시뮬레이터라는 원래 목표에서 벗어나 영상 생성기에 가까워졌다는 아쉬움이 맞섰습니다.
예시 몇 개를 보면 뭔가 화면 밖으로 나갔다가 돌아올 때 디테일이 달라집니다. 드래곤 예시에서는 성이 하나 더 생겼고, 기차 승강장 예시에서는 카메라에서 멀어지는 사람들이 바뀌었습니다. 홍콩 오토바이 운전자는 헬멧이 없다가 갑자기 쓰고 있고요.
화면 안에 계속 있는 것들의 일관성은 정말 잘 유지합니다. 하지만 이게 그들이 주장하는 강력한 "월드 시뮬레이션"이 발전하고 있다는 증거인지는 잘 모르겠습니다.
시뮬레이션 모델이 렌더링되는 영역 안에 갇혀 있는 것 같습니다. 계산량이 늘어나는 대가를 치르면 시점을 중심으로 구 전체를 렌더링하도록 기법을 확장해서 그런 결함을 어느 정도 막는 건 어렵지 않을 겁니다. 그래도 다른 물체에 가려지는 순간 물체가 제멋대로 변할 수 있다면 "물체 영속성"이라는 근본적인 한계는 그대로 남습니다. 그걸 안정시키려면 장면 전체의 3D 모델이 정말로 필요한데, 그러면 비용이 엄청나게 늘어날 수도 있습니다.
정말 어렵지 않았다면 데모를 그걸로 만들었겠죠. 기술적인 세부 사항은 잘 모르지만, 이런 제품 공개 자리에서는 최고의 결과물을 보여 주려고 하지 않겠어요?
사람들은 이게 근본적으로 연구 성과인데도 "제품"이라고 단정하고 달려드는 것 같습니다. 연구소 블로그에 올라온 글이고, 시간이 갈수록 흥미로워질 거라고 기대하는 기능을 보여 주는 것뿐인데 말이죠.
Ultra 요금제에 Genie 4를 써 볼 수 있는 가입 옵션을 끼워 넣었다고 해서, 이게 Gemini의 가치 제안에서 중요한 부분이라는 뜻은 아닙니다.
아마 기술 데모에 관심 있는 틈새 Ultra 사용자들이 이걸 어떻게 쓰는지 보면서 뭔가 배울 수 있을 겁니다. 그게 이점이라면, 그런 Ultra 사용자들에게 제공하기엔 너무 비싼 걸 "공개" 자리에서 약속한다는 게 왜 말이 되는지 잘 모르겠습니다. (그렇다고 댓글이 답하고 있는 그 제안이 기술적으로 합리적이거나 가능하다는 뜻은 아닙니다. 다만 소비자용 "제품 공개"라는 관점으로 보기 때문에 그 아이디어를 무시해야 한다고 단정할 수는 없다는 말입니다.)
OpenAI가 자원을 집중하려고 Sora에서 한발 물러나야 했고, 앤트로픽이 제출 서류에서 같은 이유로 유망한 창작 분야를 멀리해 왔다고 자랑스럽게 밝혔다고 해서, 구글이 연구소 차원의 일을 계속하지 못할 이유는 없습니다.
오히려 안 하는 게 이상할 겁니다.
Genie 3로 인터랙티브 데모를 보여 주지 않았나요? 칠판에 그림을 그리고 창문으로 나갔다가 돌아와도 칠판에 그린 게 그대로 남아 있던 거요.
어렵지 않은데 이번 릴리스에 구현할 시간이 없었던 걸 수도 있습니다. 빠르게 움직이는 업계에서는 늘 있는 일이죠.
그렇게 복잡한 게 필요한지 잘 모르겠습니다. 장면 속 물체에 위치를 태그로 붙이고 카메라 움직임을 추적해서 같은 물체가 다시 화면에 들어오는 때를 알아내면 됩니다. 그러면 모델이 위치 정보를 이용해, 다음에 렌더링된 장면에 있어야 할 물체가 전부 들어 있는지 검증할 수 있습니다.
다만 시간적 안정성이 얼마나 유지될지는 잘 모르겠습니다. 3D 렌더링에서는 물체를 각각 별개의 대상으로 추적하고 컬링(culling)만 할 뿐, 그 물체에 대한 데이터는 여전히 다 남아 있다는 점을 떠올려 본 것뿐입니다.
모델이 먼저 3D 공간으로 추론하고, 그다음에 고른 물체를 렌더링으로 바꾸는 방식이면 어떨까요?
요령은 더 큰 프레임을 낮은 충실도로 렌더링하고, 더 작은 출력 프레임만 높은 충실도로 렌더링하는 겁니다.
아니면 일관성을 위해 낮은 충실도의 3D 모델을 렌더링하고, 그걸 2D 프레임에 레이트레이싱한 다음 더 높은 충실도로 렌더링하는 방법도 있고요.
쉿!!! 그게 다음 릴리스예요... 깜짝 선물을 망치고 계시잖아요!!
저도 그럴 것 같습니다. 제가 본 2D -> 3D 모델들은 형편없었거든요. 그런데 더 중요한 건 2D -> 3D 모델들이 형편없다는 점입니다. 3D 스캔 데이터를 갖고 있는 사람은 극소수일 테니 눈여겨볼 만합니다.
설명하신 건 제가 아는 한 비디오 게임이 대충 돌아가는 방식이기도 합니다. 이게 하나의 기법으로 자리 잡으면 흥미로운 유사점이 생길 수도 있겠네요. 멀리 있는 물체도 해상도나 폴리곤 수를 낮춰서 계속 렌더링하는 것처럼요.
> 설명하신 건 제가 아는 한 비디오 게임이 대충 돌아가는 방식이기도 합니다.
이해하신 게 대체로 맞습니다. 3D 세계가 있고, GPU가 특정 시점에서 그 세계가 어떻게 보이는지 계산합니다.
본질적으로는 물체를 뒤에서 앞으로 그려서, 최종 이미지의 모든 픽셀에 가장 가까운 보이는 물체가 나타나게 합니다. 세부 사항은 복잡해지지만 발상 자체는 단순합니다.
이런 월드 모델이 왜 갱신 가능한 월드 상태를 바탕으로 설계되지 않는지 이해가 안 됩니다. 세계를 한 번 깔아 놓고 필요할 때 참조하면 될 텐데, 왜 확산(diffusion)으로 맨바닥에서 만들어 내려고 하는 걸까요. 물체 영속성이라고요!
학습 데이터 때문일 겁니다. 유튜브 영상에는 모든 물체와 그 물체가 어디에 있는지·있었는지에 대한 메타데이터가 없으니까요.
자율주행차가 결국 더 나은 데이터셋을 모으게 되지 않을까 하는 생각도 듭니다(도로에 한정되긴 하지만요!). 360도 카메라와 라이다가 있으니, 물체가 특정 시야에 나타나기 전과 후에도 추적할 수 있잖아요.
학습 데이터에 3D 엔진이 어떻게 동작하는지 이해하게 해 주는 합성 데이터를 잔뜩 섞을 수는 없을까요?
물체 영속성은 우리 뇌는 물론 많은 동물의 뇌도 애를 먹을 만큼 어려운 과제인 모양입니다. 어쩌면 문제는 월드 모델과 달리 우리 세계는 관찰자의 능력과 상관없이 연속적이라는 데 있을지도 모릅니다. 숲에서 아무도 보지 않는 곳에 나무가 쓰러져도 나무는 여전히 쓰러집니다. 월드 모델의 관점에서는 그렇지 않고요.
아하! 그럼 우리가 안 볼 때도 달은 거기 있는 거네요?
댓글을 읽어 보면 거의 모두가 전혀 감탄하지 않고 샘플의 명백한 오류를 짚고 있습니다. 하지만 AI가 만든 윌 스미스가 스파게티를 "먹는"(그걸 뭐라고 부르든) 괴상한 영상을 본 지 이제 겨우 3년 남짓입니다. 네, AI는 틀리기도 합니다. LLM이 여전히 여기저기서 뻔한 실수를 하는 것도 마찬가지고요. 저는 개인적으로 이게 엄청나게 인상적이고, 분명히 또 한 번의 도약이라고 봅니다. 완벽하지는 않죠. 하지만 나아졌습니다.
저는 결코 뭘 반대하는 사람이 아닌데, 댓글들이 말하려는 건 이 "월드 모델"들이 월드 모델을 가지고 있지 않다는 것 같습니다. 이건 근본적이고 질적인 간극이라서, 아무리 컴퓨팅을 쏟아부어도 메우지 못했고 다른 모든 게 좋아지면서 가려졌을 뿐입니다.
검증 가능한 보상이 "코드가 컴파일되고 테스트를 통과한다"인 분야에서는 이게 덜 드러나지만, 영화나 산문, 슬라이드 자료 같은 데서는 여전히 분명히 보입니다. 최첨단 모델도 기술적 품질이 눈에 띄게 좋아지는 와중에 서사의 흐름을 놓치지 않는 건 꽤 못합니다.
그러면 이 간극을 컴퓨팅만 더 투입해서 메울 수 있는지(아마 가능할 겁니다. 적어도 사람이 알아차리지 못할 수준까지 오류를 줄일 수는 있겠죠), 그리고 현재 기술로 그럴 가치가 있는지(아마 없을 겁니다)라는 의문이 생깁니다.
당신의 모델에 대한 모델은 부분적인 모델의 가능성을 인정하나요?
평범한 사람은 익숙한 동네를 걸었던 기억을 생생하게 떠올리지 못하고, 그런 산책을 하는 일관된 상상을 펼치는 건 더더욱 못합니다. 그렇다면 그 사람들은 월드 모델을 가지고 있는 건가요?
AI의 한계를 논할 때마다 꼭 어수룩한 사람을 하나 떠올려서 AI를 변호해야 합니까? 진부하고 대화에 보탬이 되는 경우도 드뭅니다. 요점은 모델의 장단점을 따져서 평가하는 겁니다. 이게 좋은 월드 모델이면 좋은 월드 모델인 거고요. 사람이 익숙한 동네의 모든 디테일을 기억해 내는지 아닌지는 상관없습니다. 무관한 얘기예요.
사람이 그 테스트를 통과하는지 아닌지는 중요합니다.
사람도 이런 일을 하면 디테일을 틀립니다. 그러니 당장 이게 AI만의 한계가 아니라는 걸 알 수 있죠. 그렇게 틀리는 게 "월드 모델이 없다는 증거"라고 말하고 싶다면 양쪽에 다 해당하는 얘기입니다. 사람 역시 그런 걸 가지고 있지 않은데도 잘 살고 있다는 뜻이니까요.
그런데 그 점은 문제를 제대로 고치는 데도 통찰을 줍니다! 사람에게도 월드 모델이 분명히 없다면, 우리는 이 문제에 어떻게 대처할까요? 때로는 "실사 촬영"을 쓰고, 현실이 일관성을 강제해 줍니다. 때로는 편집자와 QA를 씁니다. 때로는 역대 모든 TV 쇼와 영화에서 장면 사이의 사소한 불일치를 전부 모아 놓은 웹사이트가 생기기도 하고요.
그러면 차세대 이미지 모델을 더 잘 학습시킬 방법 몇 가지가 분명해집니다! 그리고 참조 이미지를 제공하고 일관된 묘사를 쓰는 식으로 직접 프롬프트를 쓰는 방법도 극적으로 개선할 수 있을 겁니다.
그러니 전혀 무관하지 않습니다.
맞아요. 게다가 실용적인 면에서는 AI가 사람의 성능에 맞먹거나 넘어서는 능력이 아주 중요한 기준이에요. AI를 쓸지 사람 창작자에게 돈을 줄지 결정하기가 아주 쉬워지니까요.
그런데 우리가 지금 이야기하는 건 사실 모델의 출력물에 대한 우리의 지각이라고 생각합니다.
실시간으로 지각하는 능력이 과거의 일을 기억하는 능력보다는 나아야 하죠.
요점은 사람에게도 월드 모델이 분명히 있다는 겁니다. 다만 불완전할 뿐이죠.
제가 문제라고 보는 건 초점이 바뀌었다는 점입니다. 최초의 Genie는 에이전트가 상호작용하며 학습해서 현실 세계에 투입될 수 있게 하는 세계 시뮬레이터로 내세워졌습니다. 이번 버전은 제어가 잘 되는 좋은 비디오 생성기처럼 보이고요. 시뮬레이터가 아니라 윌 스미스 영상과 비교하고 계신다는 사실 자체가, 그 원래 목표에서 벗어났다는 방증이라고 생각합니다. 아쉬운 일이에요.
대체로 동의하지만, 저는 오히려 원래의 거창한 비전 중에서 당장 제품으로 쓸모가 있을 만한 좁은 부분집합으로 초점을 날카롭게 다듬은 거라고 봅니다.
물론 그게 정말 누군가 원하는 제품인지는 별개의 문제입니다. 이 제한된 버전이 성공한다고 해서 언젠가 시야를 넓혀 원래 비전 전체에 초점을 맞출 수 있을지도 마찬가지로 별개의 문제고요.
3년 전과 비교하면 엄청난 도약이지만, 요즘 다른 AI 모델과 비교하면 그렇게 큰 도약은 아닙니다. AI 토끼굴에 깊이 빠진 사람들은 문제가 더 적은 인상적인 생성 영상을 이미 봤으니까요(아니면 그냥 예시를 더 잘 골랐을 수도 있고요).
내용물을 보면:
Genie 5에서는 맞히려나요.
저는 음소거로 봤는데, 그래도 소리가 별로일 거라는 생각이 들었어요. 그 사람 손가락이 거의 안 움직이거든요.
완벽은 존재하지 않습니다. 기술은 결코 우리를 인간의 조건과 끊임없는 고투에서 해방해 주지 못할 거예요...