요약
구글이 Gemini 4 Argon에 로봇 제어부터 시뮬레이션 구축까지 로봇 개발 전 과정을 맡길 수 있다고 밝혔습니다.
구글 개발자 블로그에 10월 13일 올라온 글입니다. 구글은 Gemini 4 Argon을 범용 물리 추론 모델(물체와 공간이 어떻게 움직이는지 따지는 모델)로 소개했습니다. 물리 세계에서 일하는 범용 인공지능으로 가는 한 걸음이라고도 설명했습니다.
왜 중요한가
- 로봇마다 전용 모델을 학습시키지 않아도 범용 모델이 미리 정한 동작을 조합해 로봇을 다룰 수 있음을 보여 줍니다.
- 학습 데이터를 모으는 일까지 모델이 맡습니다. 사진 한 장으로 시뮬레이션을 만들어 실제 로봇의 성공률을 높였습니다.
- API로 바로 쓸 수 있어 개인 개발자도 자기 로봇에 붙여 볼 수 있습니다.
핵심 내용
- 3차원 공간의 물리 문제 풀이를 평가하는 ERQA 벤치마크에서 87%를 기록해 다른 최신 모델을 모두 앞섰다고 밝혔습니다.
- 탁자 사진 한 장으로 시뮬레이션과 4,500개 넘는 학습 에피소드를 만들어 실제 로봇 성공률을 56%에서 75%로 올렸습니다.
- 보스턴 다이내믹스의 4족 로봇 Spot을 MuJoCo(물리 시뮬레이터) 속 복제본에서 연습시킨 뒤 페달식 쓰레기통에 캔을 버리게 했습니다.
- 사람 시점 영상이나 손 그림만으로 로봇 시뮬레이션 장면을 만드는 Real2Sim(실제 자료로 시뮬레이션을 만드는 기법) 사례도 보여 줬습니다.
- 모델 ID는 gemini-4-argon이며 Gemini API 유료 등급과 Google AI Studio, Google Antigravity에서 쓸 수 있습니다.
HN 반응
- 유니트리 휴머노이드에 붙여 본 이용자는 Argon이 다른 모델보다 조심스럽게 벽과 물체를 피했다고 전했습니다.
- 로봇 안에서 돌리기엔 전력이 부족하다는 회의론에, 판단은 데이터센터에 맡기고 균형 제어만 로봇이 하면 된다는 반론이 맞섰습니다.
저는 로봇을 거의 모르는 초보인데, 얼마 전에 큰맘 먹고 유니트리(Unitree)에서 휴머노이드를 샀습니다. 비전 기능이 있는 LLM을 연결해서 로봇 동작을 간단하게 제어하는 도구를 한동안 만들었는데요. Opus와 Astra는 탁자나 침대, 이런저런 표면에 계속 부딪히는 걸 봤습니다(네, 아직 LIDAR 데이터는 안 쓰고 있어요). 그런데 Argon 4는 벽이나 다른 물체에 부딪히지 않으려고 꽤 조심하더군요! 로봇한테 탁자로 가라고 시켰더니, 이 친구가 천천히 탁자로 걸어가서 방향을 틀어 탁자를 바라보고는 그 위에 있는 물건들을 설명해 줬습니다. 집에서 몇 시간 만에 바이브코딩으로 만든 건데 좀 무서울 정도예요...
취미를 이제 막 시작하면서 로봇에 3만 달러를 쓰다니 미쳤네요. 재력이 부럽습니다.
구매하신 R1도 설거지를 하고 식기세척기의 정해진 칸에 그릇을 넣도록 가르칠 수 있다고 보시나요? https://www.youtube.com/watch?v=k1JIyXM5qGw 에서는 그렇게 하는 것 같던데요.
그 영상에 나오는 건 G1입니다. 키가 좀 더 크고 센서도 더 많이 달려 있어요. 그런데 비결은 정교한 손(dexterous hands)이고, 이게 하나에 1만 달러는 쉽게 넘습니다.
제가 아는 건 아주 제한적이지만, 감각이 있는 정교한 손이 있다면 이론적으로는 그 작업을 하도록 VLA 모델을 학습시키고, 전체를 지휘하는 Argon 4 같은 상위 모델이 계획을 짜게 할 수 있을 겁니다. 그러려면 우선 비슷한 작업이 학습 세트에 들어 있는 VLA가 있어야 하고, 로봇 손과 팔의 움직임을 원격 조종으로 수백 번 녹화해서 파인튜닝해야 합니다.
쉽지는 않지만, 요즘은 점점 더 현실적인 일이 되어 가고 있습니다.
PS: 6천 달러짜리 로봇에 2만 달러짜리 손까지 달지는 않았습니다. 다만 손을 달 수 있는 케이블 하네스는 갖춰져 있다는 건 확인했어요 :D
저도 해 보고 싶네요.
지연 시간은 어느 정도인가요? LLM으로 로봇에게 줄 명령 세트를 만드는 건가요? 넘어질 뻔할 때 균형을 잡는 것 같은 반사 동작은 어떻게 끼어들게 하나요?
지금은 LLM이 훨씬 낮은 수준의 신경망에게 무엇을 어떻게 움직일지 알려 주고, 그 신경망이 다리·팔·머리를 약 500Hz 주기로 제어합니다. 넘어지려는 걸 막는 것도 이 신경망이 맡고요. 모든 모터 관절 값과 IMU 입력이 ONNX 기반의 강화학습으로 학습된 신경망에 들어가고, 그 신경망이 모터 움직임을 출력합니다(학습해 둔 상황에서는 잘 되는데 학습하지 않은 상황에서는 예상 밖으로 움직여서 무섭습니다).
어쨌든 내비게이션에는 지연 시간이 쓸 만한 수준이라고 생각합니다. 다만 움직이는 장애물을 피하는 건 지금은 확실히 불가능합니다.
저는 로봇 초보인데, 제가 직접 설계해서 제설 로봇(www.frost-e.com) 시제품을 만들고 있습니다. 그래서 제대로 된 곳에서 비슷한 작업이 나오는 걸 보니 힘이 납니다. 특히 이런 점들입니다.
비주얼 하네스와 동작 프리미티브를 이용한 제로샷 제어. 다른 몇 군데( https://tml.stanford.edu/homebody/ )에서도 본 방식인데, 요컨대 범용 LLM이 미리 정의된 동작 세트로 로봇에 명령을 내리는 겁니다. 모든 작업에 정교한 6자유도 팔이나 섬세한 손재주가 필요한 건 아니니까, 많은 로봇과 많은 작업을 이 방식으로 처리할 수 있을 겁니다.
시뮬레이션 구축: 저는 위성 이미지를 받아서 부지와 집을 3D 환경으로 복원하고 거기에 눈을 내리게 해서 가상 로봇이 청소를 학습하게 하는 파이프라인을 갖고 있습니다. 이번 최신 모델들이면 더 높은 정밀도의 디지털 트윈을 더 직접적으로 만들 수 있겠죠.
자기 개선: 이 모델들(Argon, Astra 등)이 로봇을 직접 조종할 수는 없지만, 실제로 쓸 수 있는 더 작은 모델로 증류할 데이터를 만들어 낼 수는 있을 겁니다.
저거 AI로 만든 제품 시연 영상인가요? 메인 시연 영상부터 진짜가 아니라면, 저라면 월 1,000달러짜리 서비스에는 가입하지 않을 것 같은데요...
어떤 영상을 보고 계신 건가요? 저는 AI로 만든 영상이 하나도 안 보이는데요.
물론입니다(오른쪽 아래에 워터마크가 있어요). 그냥 시각화일 뿐이에요. 전문 렌더링을 맡기는 대신 시제품 부품 사는 데 돈을 쓰고 있거든요.
그 점은 더 분명하게 밝히셔야 합니다. 저는 눈이 마법처럼 사라지는 걸 보고서야 알았지, 처음엔 영상에 나오는 게 실제 시제품인 줄 알았습니다. 워터마크는 눈치도 못 챘고, 봤다 해도 그 네 갈래 별이 "AI 생성 영상"이라는 뜻인 줄은 몰랐을 겁니다.
저는 실제로 어떻게 작동하는지와 무관한 가상의 영상보다 시제품 영상을 훨씬 보고 싶습니다. 특히 웹사이트에 가격까지 올려 두셨으니, 방문자는 지금 운영 중인 사업이라고 생각하게 되죠.
시작부터 막장이네요...
SO101로 써 본 사람 있나요?
모델이 18개월마다 효율이 90%씩 좋아지고, 하드웨어는 2년마다 와트당 성능이 2배씩 좋아진다고 가정해 봅시다...
Argon급 모델이 스쿨버스만 한 로봇이 아니라 현실적인 크기의 로봇에 들어가서 배터리로 웬만한 시간 동안 돌아가려면 아직 10년쯤 남은 것 아닌가요?
게다가 좁은 용도가 아니라 범용으로 쓸모 있으려면 필요한 속도까지 맞추려면 몇 년은 더 걸리겠죠?
제 말은, 옛날 청소기처럼 콘센트에 꽂아 쓰는 합리적인 가격의 로봇(이런 기술로 돌아가는)이 나오기까지 아마 5~7년은 걸린다는 겁니다.
제 생각에 95% 이상의 용도에서는 어디서든 데이터센터에 연결되기만 하면 됩니다.
하드웨어에는 보행이나 균형 같은 걸 맡는 작은 모델이 하나 또는 여러 개 돌아가고,
의사결정과 계획은 하드웨어가 "본사에 전화해서" 처리할 거라고 봅니다.
로컬 모델이 계획 실행의 일부를 처리하고 로봇이 넘어지지 않게만 해 주면, 계획 자체는 기기 가까이에 있을 필요가 없습니다. 지연 시간은 문제가 안 될 거예요. 오히려 처음부터 끝까지의 계획 수립에서는 더 강력한 중앙 집중식 컴퓨팅이 느린 로컬 컴퓨팅보다 금세 우위를 차지합니다.
그 방식은 책임 문제가 좀 있을 것 같은데요.
조만간 모델은 더 이상 나아지지 않게 될 겁니다. 그렇게 되면 최고의 모델을 가중치가 마스크 ROM에 고정된 모델 전용 ASIC으로 찍어 내게 될 거고(탈라스가 이미 하고 있듯이), 그러면 추론 효율이 적어도 10배 이상으로 크게 올라갑니다.
트랜지스터 밀도도 새 칩 공정에서 똑같은 말을 했습니다. 2년마다 두 배씩 40년을 이어 오다가 마침내 한계에 부딪혔죠.
밀도 면에서는 한계에 부딪혔지만 업계는 3D로 확장하거나 칩렛을 이어 붙이는 쪽으로 전환했습니다. 정의를 집적회로당 트랜지스터 수로 바꾸면 무어의 법칙은 아직 통하고 있습니다.
트랜지스터가 그렇게 오래 두 배씩 늘었지만 다른 기술은 거의 근처에도 못 갔으니, 그런 개선이 오래 이어지는 게 아니라 금방 끝나는 경우가 훨씬 흔합니다. 트랜지스터가 그럴 수 있었던 건 전자가 오래 유지되고, 아주 작고, 꽤 잘 제어된다는 물리학의 우연 덕분입니다. 그런 입자는 이제 더 없으니 또 한 번 도약할 수단이 없어요.
데이터에 묶인 것들에는 정보 이론의 근본 법칙도 있습니다. 수학에 관한 정리라서 물리학 이론보다 훨씬 강력하죠. LLM은 지식을 어느 정도까지만 압축할 수 있는데, 지금 거의 그 한계에 와 있습니다.
그래도 RAM 문제는 해결이 안 되잖아요.
제가 잘 몰라서 하는 말인데, 그래도 산업용 응용은 이걸로 가능해지지 않나요? 사내에 추론 하드웨어를 두고 로봇이 로컬 네트워크로 거기에 말을 걸면 되잖아요.
그리고 로봇을 제어하는 데 모델이 지식을 그렇게 많이 갖고 있을 필요는 없을 것 같고요.
그래 봐야 시점이 1년쯤 당겨질 뿐입니다. 산업 규모에서는 아마존 창고 같은 곳이 창고 안에 로컬 데이터센터를 두는 게 2~3년 안에 흥미로워질 수는 있겠죠.
그래도 비용 면에서는 고도로, 아주 고도로 특화된 모델이 범용 모델을 압도하지 않을 거라고는 상상이 안 됩니다. 아마존이 이미 그렇게 하고 있기도 하고요.
다들 특화 모델이 답이라고 생각하지만, 결국 아니었죠: http://www.incompleteideas.net/IncIdeas/BitterLesson.html
아주 제한된 영역에서도 그 말이 얼마나 들어맞을지 궁금하네요. 모델 크기, 전력 예산, 비용의 균형을 맞춰야 하는데, 전력 예산이 사실상 무한하고 비용을 훨씬 많은 요청에 나눠 분산할 수 있는 고정된 서버를 볼 때와는 완전히 다른 게임입니다.
로봇은 그 세 가지가 전부 최악으로 만나는 지점에 있는 경향이 있습니다. 전력 예산은 제한적이고, 모델 크기는 비교적 작아야 하고, 가전제품에 넣어도 부담 없을 만큼 싸야 하니까요.
요즘은 주방 가전도 리눅스로 돌아가요. 어쨌든 규모의 경제가 이길 것 같은데요.
작업마다 특화 모델을 학습시키는 것도 쓰라린 교훈(Bitter Lesson)이 말하는 "연산을 활용하는 일반적인 방법"입니다. 작업마다 가능한 최고의 모델을 만들면, 모델 하나를 만들어 모든 일에 쓰는 것보다 적어도 같은 수준은 보장되고 대개는 더 낫습니다.
멋지네요, 저도 저런 로봇 손 두 개만 구할 수 있으면 설거지 노예를 하나 만들 텐데...
애초에 쓰레기를 바닥에 안 버리면 안 될까요?
결국 공장을 만드는 공장을 만드는 공장을 만드는 공장이 생기겠죠... 그런 개념을 팩토리오(factorio)라고 부를 수도 있겠네요!
누가 이 개념으로 게임을 만들어야 할 것 같아요.
저희 중 일부는 바로 그걸 꽤 오래전부터 만들고 있어요. 모델이 준비될 때를 대비해서요. 그리고 거의 다 됐습니다!