요약
로봇 AI의 가장 큰 걸림돌은 학습 데이터이며, 지금 모인 양은 언어 모델의 1,000분의 1 수준입니다.
뉴스레터 Construction Physics의 브라이언 포터가 쓴 글입니다. 언어 모델은 인터넷에 쌓인 글로 학습했지만 로봇에는 그런 자료가 없습니다. 그래서 데이터를 어디서, 얼마나 구할지가 로봇 분야의 핵심 문제가 됐다고 봤습니다.
왜 중요한가
- 규모의 법칙(모델·데이터·연산을 키울수록 성능이 오른다는 경험칙)이 로봇에도 통할지는 데이터를 얼마나 모으느냐에 달려 있습니다.
- 필요한 양을 10억 시간으로 잡으면 수집 비용만 100억~1,000억 달러에 이를 수 있습니다.
핵심 내용
- 사람이 로봇을 원격 조종하면 로봇에 꼭 맞는 데이터가 나오지만, 비싸고 촉감 피드백이 거의 없어 조작이 둔합니다.
- 시뮬레이션은 걷기 학습에는 잘 통하지만, 부드럽거나 모양이 변하는 물체를 다룰 때는 현실과 차이가 큽니다.
- 머리에 단 카메라 영상이나 카메라 달린 손잡이형 집게(UMI)는 싸고 현실적이지만, 사람 몸과 로봇 몸이 정확히 맞지 않습니다.
- 로봇 데이터셋은 2023년 4,000시간에서 100만 시간 넘게 커졌지만, 읽는 시간으로 따진 GPT-4 학습량보다 1,000배쯤 작습니다.
- 로봇 영상은 앞뒤 장면이 비슷해서 같은 시간이라도 웹 텍스트보다 담긴 정보가 적습니다.
HN 반응
- 세상이 사람 몸에 맞춰 지어졌으니 휴머노이드가 합리적이라는 댓글에, 경사로와 엘리베이터가 많아 바퀴 로봇도 충분하다는 반론이 나왔습니다.
- 로봇 센서는 이미 사람보다 낫고 모자란 것은 해석하는 AI라는 주장에, 촉감 없이는 무게를 가늠하기 어렵다는 현장 경험담이 맞섰습니다.
훌륭한 글이고, 앞으로 중요해질 거라고 생각하는 문제에 대한 제 생각을 실제로 바꿔 놓았습니다. 저는 휴머노이드 로봇을 늘 비웃었고, '편의' 때문에 만드는 거라고 생각했습니다. 이제는 이것이 범용 로봇 문제를 푸는 가장 확실한 방법일 가능성이 거의 확실하다고 생각합니다. 글쓴이가 설명한 이유 때문만이 아니라, 세상 전체가 애초에 사람 모양의 행위자에 맞춰 지어져 있기 때문입니다.
세상이 사람 몸에 맞춰 지어졌다는 것만이 아니라, 사람이 아주아주 적응력이 뛰어나다는 점도 있습니다. 우리 손은 진화의 경이로운 결과물이라서 극도로 정밀한 작업을 하면서도 온갖 움직임에 적응할 수 있습니다. 나사를 조이고 풀고, 이상하게 생긴 물건을 6자유도로 잡고, 여러 축으로 돌리고 하는 식이죠. 팔이나 다리 같은 다른 부위도 마찬가지 이점이 있습니다. 예를 들어 인간은 빠른 종은 아니지만 평지든 험한 땅이든 가파른 경사든 걸을 수 있고, 바위도 탈 수 있습니다. 어떤 장소가 눈에 보이면 아마 거기까지 갈 수 있을 겁니다.
그래서 로봇이 많은 산업 현장에서도 여전히 아주 많은 작업에 사람을 씁니다. 물론 자동 벨트 피더나 이동 트레이 시스템으로 PCB를 칩마운터에서 가열로로, 조립 공정으로 옮길 수 있습니다. 하지만 그러면 조립 라인이 상당히 경직됩니다. 새 공정이나 다른 크기의 PCB 같은 걸 수용하려면 비용이 많이 듭니다. 최저임금을 받는 사람은 기계에서 기계로 물건을 옮기고, 공정에 문제가 없는지 확인하고, 새 공정이나 새 작업장 배치에 적응하는 일을 아주 쉽고 싸게 해냅니다.
로봇이 꼭 사람 모양일 필요는 없지만, 사람만큼 적응력이 있는 로봇은 적응력이 사업의 핵심인 기업에 엄청난 이점이 됩니다.
(세상이 사람 몸에 맞춰 지어졌다는 것만이 아니라, 사람이 아주아주 적응력이 뛰어나다는 점도 있습니다. 우리 손은 진화의 경이로운 결과물이라서 극도로 정밀한 작업을 하면서도 온갖 움직임에 적응할 수 있습니다.)
손만이 아니라 몸 전체가 그렇습니다.
얼마 전에 아이에게 자전거 타는 법을 가르쳤는데, 아이가 요령을 터득하는 걸 보고 이런 생각이 들었습니다.
"수백만 년의 진화 덕분에 우리가 200년도 안 된 시기에 발명된 기계를 탈 수 있다니, 참 신기하다."
"인간이 자전거를 발명했을 때 인간은 성취의 정점에 이르렀다. 이것은 인간의 편의를 위한 정밀하고 균형 잡힌 기계였다. 그리고 (이후 인간의 편의를 위해 발명된 것들과 달리) 쓰면 쓸수록 몸이 더 튼튼해졌다. 인간의 두뇌가 만든 산물 가운데 처음으로, 쓰는 사람에게 전적으로 이롭고 다른 사람에게는 해도 불편도 끼치지 않는 물건이었다. 진보는 인간이 자전거를 발명했을 때 멈췄어야 했다." — 엘리자베스 하워드 웨스트
음, 자전거는 우리가, 우리를 위해 발명한 거긴 하죠. 그래도 말씀하신 요점은 여전히 맞습니다.
"수백만 번의 반복 학습 덕분에 0.1초 전에 만들어진 과제를 원샷으로 해낼 수 있게 됐다니." 에이전트가 CoT에서 한마디 던졌다.
(우리 손은 진화의 경이로운 결과물이라서 극도로 정밀한 작업을 하면서도 온갖 움직임에 적응할 수 있습니다.)
쉽게 지나치지만, 저는 인간이 타자를 칠 수 있다는 게 놀랍습니다. 언어를 표현하려고 손가락을 미세하고 정밀하게 움직이는 능력은 우리 조상들에게 진화적으로 유리한 기술이 아니었을 텐데 말이죠.
차이는 공장을 로봇을 설계 원칙으로 삼아 설계하느냐, 인간 노동을 설계 원칙으로 삼아 설계하느냐입니다. 둘은 완전히 다른 모습이 될 테고, 그 결과 문제를 일으킬 만한 많은 요소가 설계 단계에서 아예 사라집니다.
다만 이건 대량 생산이면서 마진이 낮은 경우에만 통합니다. 빠른 변화에는 인간이 뛰어나니까요. 아직까지는요.
대부분의 나라에는 미국의 장애인법(ADA) 같은 법이 있어서 경사로와 엘리베이터가 충분히 갖춰져 있고, 그래서 바퀴 달린 로봇도 꽤 잘 다닐 수 있어요. 사실 문제는 학습 쪽이에요.
(세상 전체가 애초에 사람 모양의 행위자에 맞춰 지어져 있기 때문입니다.)
꼭 그렇진 않아요. 사람의 형태에 쉽게 적응해서 똑같이 해낼 수 있는 비(非)휴머노이드 형태도 여럿 있어요. 다만 틀에서 조금 벗어난 발상이긴 하죠. 상상력 없이도 조금만 생각해 보면 떠올릴 수 있어요. 논리적으로 몇 단계만 건너뛰면 되거든요.
세바스찬 스런이 구글에서 DARPA 그랜드 챌린지 우승에 관해 한 강연[0]에 "로봇" 학습을 다룬 훌륭한 대목이 있습니다.
요약하면 이렇습니다.
LIDAR의 오차율이 공개되어 있지 않았다
도로의 구멍을 밟으면 차량의 INS가 혼란을 일으킬 수 있었다
위 요인들이 결합해 생기는 오류를 어떻게 고쳐야 할지 확신이 없었다
결국 차를 그냥 몰아서 학습 데이터를 만들었다
컴퓨터가 장애물이 있는지 없는지 예측하면, 아주 잠깐 뒤에 운전자가 진짜 장애물을 피해서 운전하거나 컴퓨터가 장애물이 없었다는 걸 깨닫는 식이었으니 잘 맞아떨어진 겁니다.
이 강연을 보신 적이 없다면 강력히 추천합니다. 스런이 정말 재미있고, 자율주행이 아직 완전히 새로운 개념이던 시절로 돌아간 타임캡슐 같은 영상이기도 하거든요.
0 - https://www.youtube.com/watch?v=j8zj5lBpFTY
LLM은 방대한 텍스트 학습 데이터를 흡수해서 쓸모 있게 만들 수 있다는 걸 보여 줬습니다. 하지만 감각 처리를 하려면 시공간 스트림을 받아들일 다른 아키텍처가 필요합니다. 언어 모델에 비전을 덧붙이는 건 기술을 너무 억지로 늘리는 겁니다.
좋은 소식은 데이터가 풍부하다는 점입니다. 로봇 주변 어디에나 있습니다. 로봇이 센서로 감지하고 액추에이터로 작용하는 대상인 로봇의 움벨트, 즉 현실 세계가 엄청난 양의 데이터를 제공할 겁니다.
흥미롭게도 제 동료들은 체화 학습(embodied learning)이 그라운딩, 정렬, AI 안전성으로 이어질 거라고 주장합니다.
(저는 로보틱스 + 머신러닝 스타트업에서 R&D 책임자로 4년간 일했습니다.)
"그라운딩, 정렬, AI 안전성" 같은 범용 목표에 체화가 필요하다는 건, 일부 사람들이 그렇기를 바라는 것 중 하나일 뿐인 것 같습니다. 그게 사실이어야 할 실제 이유는 없습니다. 사실이라고 보여 주는 연구 결과도 없고요. 그런데도 사람들은 그냥 그렇기를 바랍니다.
저는 이 주장에 매우 회의적입니다. 희망 사항은 믿을 게 못 됩니다.
LLM은 "범용 상식 추론"의 아주 탄탄한 기본 요소들을 제공합니다. 그리고 Astra, Opus 5.5, Gemini 4 같은 모델은 로보틱스 과제를 포함한 "공간 문제 해결"에서 세대를 뛰어넘는 도약을 보여 줬습니다. 이 모델들은 모델 차원에서 "센서 입력 임베딩"이나 "행동 출력 디퓨전" 부분이 따로 들어 있지도 않은데, 로봇 팔의 제어를 맡기면 예전에는 로보틱스 모델을 튜닝해야 했을 새 과제를 느리지만 해결할 방법을 찾아낼 가능성이 꽤 있습니다.
전에는 "생성형 비디오 모델"이 미래 로보틱스 모델의 기반으로 쓸 만한 후보라고 생각했습니다. 이 모델들은 구조상 영상을 인지하고, 현실 환경에서 행동을 계획하고 실행하는 데 필요한 세계의 역학을 학습합니다. 그리고 체화와 무관한 웹 규모의 범용 데이터셋만으로도 그런 역학을 배우기 시작할 수 있습니다.
하지만 로보틱스 전용이 아닌 범용 LLM도 만만치 않다는 게 드러났습니다. 빠르고 정밀한 조작 같은 일에는 전혀 최적이 아니지만, 그래도 로보틱스 파이프라인에서 점점 더 많이 쓰이고 있습니다. "Astra의 추론 엔진에 로보틱스용 아키텍처 확장을 붙이면" 무엇을 해낼 수 있을지 궁금해집니다.
기술이 왜 "너무 억지로 늘어난" 겁니까? 이미지, 비디오, 오디오를 붙여서 더 잘 돌아가게 만들어 왔잖아요. 다른 감각 입력이라고 뭐가 다르겠어요?
센서 데이터가 부족한 것도 문제 아닐까요?
우리 몸의 신경은 엄청난 양의 데이터를 만들어 냅니다. 눈과 평형감각도 움직임과 운동학을 가능하게 하는 아주 풍부한 정보를 보태고요. 이게 전부 융합되어 쓸 만한 피드백이 됩니다.
고정된 축 위에 달린 팔과 따로 노는 비전을 보면, 진짜 로봇 학습까지는 아직 한참 멀었다는 느낌이 듭니다.
그것도 문제의 일부입니다. 맞아요, 인간은 센서투성이입니다. 털 하나하나, 신경 말단 하나하나가 다 그래요. '기본 클럭'이 꽤 낮은데도 그 모든 정보가 그렇게 빨리 처리된다는 게 놀랍습니다. 그 신호들에는 사전 처리도 아주 많이 거칩니다(예를 들어 시신경은 사실상 뇌의 연장입니다. 고속, 고대역폭 인터페이스로 이만한 게 있을까요). 게다가 반사도 있습니다. 안전과 관련된 문제를 처리하느라 뇌보다 빨리 반응할 수 있는 신경계의 반자율 부분이죠. 생물학 쪽에서 아주 흥미로운 사례를 보고 싶다면 문어를 찾아보세요.
인간의 "평형감각"이요? 인간의 전정계는 시중에서 파는 아무 스마트폰 IMU와 비교하면 슬픈 농담 수준입니다. 고유수용감각은 모든 모터의 전류 감지와 모든 관절의 절대 엔코더에 비하면 농담이고요. 인간의 청각은 어중간한 마이크 어레이에도 집니다.
진화가 엄청난 비중을 실어 준 지각 채널인 시각조차, 요즘 스마트폰에 들어가는 카메라 유닛에 압도적으로 밀립니다.
로봇이 우위에 있지 않은 감각은 촉각과 후각 두 가지뿐입니다. 하지만 후각이 결정적으로 중요하다고 주장하기는 어렵습니다. 촉각은요? 정면으로 이기기는 어렵습니다. 그래도 실제로는 이미 부분적으로 보완되고 있습니다.
물론 기본적인 UMI 스타일 그리퍼를 단 로봇은 풍부한 촉각 피드백을 얻지 못합니다. 팔 관절과 손가락 모터에서 오는 몇 개 채널의 피드백뿐이죠. 그런데 이 구동식 UMI 그리퍼가 가진, 인간에게는 없는 게 뭔지 아세요? 손목 카메라입니다. 로봇은 자신이 조작하는 물체를, 조작이 일어나는 지점 바로 가까이에서 볼 수 있습니다. 정밀한 조작 작업에서는 이게 아주 중요합니다.
인간에게 손목 카메라가 없는 건 그게 바람직하지 않아서가 아니라, 진화가 배선에 형편없기 때문입니다. 우리는 배선에 형편없지 않죠.
인간은 자기 몸으로 범용 조작 작업을 해내는데 최고의 로봇은 못 한다는 사실은요? 현대 로보틱스 AI와 진화로 만들어진 인간 뇌의 배선 사이에 얼마나 큰 격차가 있는지 보여 주는 증거입니다. 결함투성이인 인간의 몸이 그만큼 잘 돌아가는 건 지능이라는 우위 덕분입니다. 인간의 몸에 있는 모든 게 대충 만들어졌고, 뇌가 사후 처리로 수습하는 겁니다. 하지만 AI 기술이 발전하면서 그 격차는 좁혀지고 있습니다.
청각과 시각의 동적 범위는 제가 아는 어떤 센서보다 인간이 낫습니다.
인간의 시각은 감도도 대단해서, 어떤 사람들은 간상세포로 광자 하나하나를 감지할 수 있다고 합니다.
인간의 "동적 범위"는 꼼수예요. 한계치는 인상적으로 보이지만, 오래 걸리는 적응 과정을 거쳐야만 도달할 수 있습니다. HDR, 후면 조사형, 아날로그 게인 조절을 갖춘 요즘 카메라 센서는 그에 꽤 근접하고, 훨씬 훨씬 빠릅니다.
실제로 극단적인 동적 범위에서 정말 좋은 성능을 원한다면, 하나의 센서 유닛 안에 특화된 센서를 여러 개 쌓는 편이 보통 더 쉽습니다. 저조도 환경(또는 높은 프레임레이트)에서 높은 양자효율을 얻으려면 필터 없는 저해상도 센서를, 밝은 환경에서 최대한 많은 데이터를 얻으려면 고해상도에 풀 베이어, IR 컷, 편광 눈부심 필터를 갖춘 주간용 센서를 쓰는 식이죠. 그러면 적응 시간 없이 곧바로 인간을 뛰어넘는 범위를 얻습니다.
저조도 원본 이미지가 예쁘냐고요? 아닙니다. 하지만 인간의 뇌도 "예쁘게 보이려면" 후처리를 엄청나게 합니다. 잡음 섞인 일련의 측정값에서 좋은 이미지를 건져 내는 건 AI 문제입니다. 꽤 성능 좋은 센서는 이미 오래전부터 있었지만, 스마트폰에서 저조도 촬영이 진짜로 가능해진 건 AI 기반 연산 사진술 덕분이었습니다.
인간의 시각으로 "우연보다 높은 확률로 개별 광자를 감지하는" 실험이 있다는 건 압니다. 하지만 같은 실험 환경에 최신 후면 조사형 CMOS를 연결해도 우연보다 높은 확률로 광자를 감지할 수 있을 겁니다. 진짜 광자 이벤트 카메라는 말할 것도 없고요. 아주 틈새 제품이지만 광자를 꽤 믿을 만하게 감지합니다. "틀릴 확률보다 맞을 확률이 높은" 수준이 아니라요.
"틈새 극한 센서" 쪽으로 가고 싶다면 열화상 카메라와 이미지 증강관도 있습니다. 흔히 쓰진 않지만, 설계해서 만든 센서가 얼마나 압도적일 수 있는지 보여 줍니다.
한계는 센서에 있는 게 아니라, 센서가 주는 데이터를 이해하는 데 있습니다.
손목 카메라가 촉각의 부재를 얼마나 메워 줄 수 있는지 과장하고 계세요. 손목 카메라로는 사람이 물건을 집을 때 얻는 무게와 단단함의 즉각적인 추정치를 얻기가 정말 어렵고, 딱딱한 엔드 이펙터라면 특히 그래요. 사람이라면 촉각이 있어야 할 방식으로 파지를 안내하고 물건을 떨어뜨렸는지 감지하는 데는 도움이 되지만, 애초에 물건이 떨어지지 않게 해 주는 파지의 여러 측면은 보완하지 못해요.
"무게와 단단함의 추정"은 액추에이터 자체의 저차원 센싱으로 꽤 잘 해내는 종류의 일입니다.
백드라이버블 액추에이터는 전류를 얼마나 쓰는지 알고, 따라서 얼마나 큰 힘을 받는지도 압니다. 그래서 가장 단순한 두 손가락 그리퍼도 어떤 물체가 말랑하고 어떤 물체가 아닌지 쉽게 "알" 수 있습니다. 반응 곡선이 다르거든요. 팔 액추에이터로 무게를 추정하는 데도 같은 원리가 적용됩니다.
이 방법으로 알 수 없는 건 물체가 얼마나 뜨겁거나 차가운지, 얼마나 축축한지입니다.
카메라가 필요한 건 바로 "파지를 안내하는" 부분입니다. 힘 센싱만으로는 로봇에게 "파지가 실패하고 있다"는 것만 알려 줄 수 있습니다. 잡은 물체를 향한 카메라는 "왜"인지도 알려 줄 수 있습니다.
이론상으로는 그렇지만 현실에서는, 현실적인 기어비라면 백래시와 스틱션 때문에 구동 전류는 접촉 지점의 실제 힘보다 훨씬 쓸모가 떨어집니다. 그리고 무게 추정에서 중요한 부분이 접촉 지점에 가로 방향으로 걸리는 힘이고요. 팔 모터는 움직일 때 전류를 더 끌어다 쓰니까 이론상으로는 그것도 구분할 수 있겠지만, 그래도 그리퍼 전체의 무게가 더해져 있습니다.
저는 직장 생활 중 몇 년을 이 주제에 쏟았습니다[1]. 제 경험으로는, 일반적인 피킹 작업에서 모터 구동 전류만으로는 물체 무게를 2배 이내로 좁히기도 힘들어서, 통에서 물건을 하나가 아니라 실수로 두 개 집었을 때 그걸 감지하기에도 보통 부족합니다.
[1] https://patents.google.com/patent/US12612266
아, 그런 간접적이고 잡음 많고 번지고 비선형인 상대 측정값을 절대 센싱에 쓰려고 하면 정말 짜증 납니다.
현대 AI 로보틱스의 힘은, 흉내 내려는 생물학적 혼돈과 마찬가지로 절대 센싱에 크게 신경 쓰지 않는다는 데 있습니다.
세계 역학과 자기 몸의 역학에 대한 탄탄한 기반을 갖춘 고성능 제어 모델이 불완전한 센서들을 융합하면요? 실제로는 "완벽한 센서"에 놀라울 만큼 가까워집니다. 잡음 많고 비선형이고 모호한 측정값 한 무더기를 서로, 그리고 시간에 걸쳐 암묵적으로 참조시켜 쓸 만한 제어 루프를 만들어 내는 능력은 강력합니다.
인간의 신경계가 이 끔찍한 혼돈 덩어리인 인간의 몸을 억지로 움직이게 하는 데 휘두르는 게 바로 이런 힘입니다.
"통에서 물건을 하나가 아니라 실수로 두 개 집은 걸 감지하는" 일이라면, 특히 가벼운 물건일 때 액추에이터 한 묶음보다 손목 카메라가 훨씬 자연스러운 센서입니다. 손목 카메라는 정말 좋습니다. 하지만 액추에이터 한 묶음도 충분히 잘 융합하면 대개 해낼 수 있습니다.
문제는 이 수준의 센서 융합 알고리즘을 손으로 설계하는 게 사실상 불가능하다는 겁니다. 원수한테나 시키고 싶은 센서 지옥이죠. 그러니 결국 범용 로보틱스는 본질적으로 AI 문제라는 얘기로 돌아옵니다.
산업용 로봇의 센서가 그렇게까지 뛰어나진 않아요. 로봇 쪽 사람들은 모터 양쪽에 토크 센서를 쓰는 것 같은데, 소프트웨어가 필요로 하는 실제 토크 값을 알려면 입력, 출력, 지령 토크가 전부 필요하다는 뜻이죠. 그런 식이에요. 원래 댓글 쓴 분 말이 맞다고 생각해요.
맞습니다. 문제는 학습 데이터의 양만이 아니라, 관련 정보가 얼마나 빠져 있느냐일 거라고 생각합니다.
예전에 읽었는데, EEG(뇌 전기 활동) 데이터를 분석하는 건 축구 경기장 밖에 서서 관중의 함성만으로 감독이 하는 말을 알아내려는 것과 같다고 하더군요.
제 생각에 지금의 로봇은 아키텍처 어딘가가 아직 근본적으로 잘못된 것 같습니다. 우리 인간은 지령 힘(commanded force)으로 움직이는 것 같은데, 로봇은 주로 지령 관절 각도와 속도로 움직입니다.
이걸 깨달은 건 이상한 자세로 자다 깼는데 한쪽 팔이 완전히 저렸을 때였습니다. 그래도 팔을 올가미처럼 "휘둘러" 끝에 달린 오므릴 수 있는 손가락으로 시각 피드백을 이용해 원하는 걸 해낼 수 있었습니다. 액추에이터 피드백이나 제어는 아주 조금뿐이었는데도요. 관절 각도로 움직이는 로봇은 그렇게 못 합니다. 그래서 힘 각도 쪽을 더 자주 들여다봐야 한다고 생각합니다.
로봇에 대한 또 다른 불만은, 해부학적으로 올바른 상체, 특히 어깨를 만들려고 시도하는 로봇이 극히 드물다는 겁니다! 상체는 뱀 같은 제한적인 유연성이 있고, 어깨 복합체(의사들이 부르는 이름입니다)는 단순한 볼 조인트나 직교하는 2축 회전 관절이 아닌 놀라운 구조물입니다.
무슨 뜻인지 잘 모르겠네요. 뇌도 각도를 알아내야 하지만, 소뇌가 뒤에서 처리해 주니까 우리가 못 느낄 뿐이에요. 대체로 손이 어디에 있길 원하는지만 정하면, 알맞은 근육이 동원되어 딱 필요한 만큼 움직여요.
그런데 그게 바로 역기구학이잖아요.
제 느낌에는, 원하는 효과를 내려고 근육에 힘을 주는 방식이 실제 IK보다는, 곱셈 계수가 붙은 채널 표를 써서 전체 힘 예산을 분배하는 것 같은 방식, 즉 순기구학에 가깝고, 힘과 각도의 관계가 균일하지 않은 관절 구조가 그걸 돕는 것 같습니다.
보여 드리죠. 화면에 각도기 이미지를 띄우고, 검지를 0도에서 90도까지 10도씩 움직여 보세요. 그 정도로는 달걀을 깨뜨리지 않고 쥘 만큼 정밀하지 않을 겁니다. 우리가 늘 IK를 하고 있다면 그건 쉬워야 하고 1도 미만 단위까지 정밀해야 합니다. IK 이론은 그냥 맞지 않는 느낌입니다(물론 기술로서의 IK는 분명 대단히 유용합니다).
그리고 원래 댓글에 쓰는 걸 깜빡했는데, 우리의 기본 좌표계는 화면 공간 2D이고 3D 지각은 선택 사항인 것 같습니다. 사람들은 짜증 날 때 팔을 바깥쪽으로 휘두릅니다. 기본이 3D라면 깊이 방향인 앞으로 계속 밀고 있어야 할 겁니다.
이 주제를 다룬 엔비디아의 좋은 영상이 있습니다. 발표가 아주 재미있어요.
https://www.youtube.com/watch?v=3Y8aq_ofEVs&pp=ygUKbnZpZGlhIGppbQ%3D%3D
추신: 로보틱스가 HN에서 별로 주목받지 못하는 것 같아 아쉽네요 :(