요약
디즈니 애니메이션이 '주토피아 2'를 예로 장편 애니메이션의 제작 공정을 단계별로 공개했습니다.
월트 디즈니 애니메이션 스튜디오가 공식 누리집에 올린 제작 과정 소개 페이지입니다. 영화를 시퀀스(이야기 흐름으로 묶은 장면 단위), 숏(카메라 한 번의 촬영 단위), 프레임으로 쪼개 가며 부서마다 하는 일을 보여 줍니다.
왜 중요한가
- 장편 한 편이 수십 개 부서의 분업과 평균 3~5년의 시간으로 완성된다는 점을 구체적인 숫자로 보여 줍니다.
- 이야기, 미술, 기술 인력이 하나의 파이프라인(작업을 차례로 넘기는 제작 흐름)에서 맞물려 일하는 구조를 한눈에 볼 수 있습니다.
핵심 내용
- 제작은 개발, 에셋 제작, 숏 제작, 후반 작업, 자료 보관의 다섯 단계로 나뉩니다.
- '주토피아 2'는 97분 30초 길이에 41개 시퀀스, 14만 4,355프레임으로 이뤄졌습니다.
- 입체(3D) 상영용으로는 왼쪽 눈과 오른쪽 눈 영상을 따로 만들어 28만 8,710프레임을 렌더링합니다.
- 에셋 단계에서는 모델링, 리깅(캐릭터를 움직이는 뼈대와 조종 장치 제작), 털과 옷감 시뮬레이션이 이어집니다.
- 작업이 끝난 그림과 자료는 6,500만 점 넘게 쌓인 사내 애니메이션 연구 도서관에 보관됩니다.
HN 반응
- 픽사가 화면에 안 나올 서랍 속까지 질감을 입혔다는 일화에, 전직 특수효과 애니메이터들은 장면이 잘리거나 구도가 늦게 정해진 탓일 것이라고 반박했습니다.
- 디즈니에서 해고된 애니메이터가 AI로 혼자 만든 영상이 디즈니급이라는 주장에는 장면 연결이 어긋나고 움직임이 뻣뻣하다는 반론이 잇따랐습니다.
아주 오래전에 본 픽사 다큐멘터리에서 누군가 디테일에 대한 집념을 이야기하던 게 기억납니다. 디자이너들이 영화에 절대 나오지 않을 서랍장 속까지 텍스처를 꼼꼼히 입힌다고 했습니다. 그러니 실제로 화면에 나오는 것들에는 얼마나 많은 정성과 시간이 들어가겠느냐는 얘기였습니다. 순수한 장인정신이죠.
하하, FX 애니메이터/TD 출신으로서 이 얘기는 좀 웃기게 들리네요. 아마 뒷사정이 더 있을 겁니다. 화면에 안 나온다는 걸 확실히 알고도 텍스처를 입혔다면 장인정신이나 디테일에 대한 집념이 아니라 시간 낭비입니다. 다만 그럴듯하게 들리는 이유는, 모델링과 서피싱 부서는 샷과 카메라 계획이 다 나오기 전에 작업을 시작해야 하는 경우가 많기 때문입니다. 제작 후반에 카메라가 바뀌기도 하고요. 서랍장 속이 보이던 샷이 잘려 나갔을 수도 있고, 서피싱 쪽에서는 어떤 샷에서 서랍이 열릴 거라 예상했을 수도 있고, 서랍 안에서 벌어지는 장면이 스토리보드에는 있었는데 레이아웃 단계까지 못 갔을 수도 있습니다. 이런 일은 아주 흔합니다. 하지만 영화에 절대 안 나올 걸 아는 물건에 아티스트를 투입하는 제작 현장은 없습니다.
맞아요. 아티스트들이 샷에 쏟아붓는 디테일은 저도 정말 좋아하지만, 제대로 하는 애니메이터와 VFX 인력이라면 시간을 줄이는 온갖 요령도 다 꿰고 있거든요. 컨셉 단계가 아닌 이상, 스토리보드에 없는 물건의 내부를 만들어 놓을 가능성은 거의 없습니다.
저도 그렇게 생각했는데, 감독이 나중에 서랍 속을 찍고 싶다고 할 때를 대비한 만약의 경우 같은 거겠죠.
흥미롭네요. 그러면 가우시안 스플랫 같은 걸로 필요할 때만 디테일을 채워 넣고 나중에 보충하면 "낭비"되는 시간을 많이 줄일 수 있겠네요.
오히려 정반대죠. 절대 안 보일 걸 알면서 텍스처를 입혔다면, (적어도 그 시절에는) 보일 것들에 디테일을 쏟을 시간을 거기에 쓴 겁니다.
예술적인 관점에서는 이해가 가고, 에셋이 나중에 언제 어떻게 쓰일지도 모르는 일이긴 합니다. 하지만 따져 보면 그 논리는 설득력이 없어 보여요.
스티브 잡스 얘기와 헷갈리신 것 같습니다. 애플 컴퓨터 내부에까지 디테일을 신경 썼던 건 잡스고, 그건 아버지에게 배운 습관이었습니다. 월터 아이작슨이 쓴 잡스 전기에 자세히 나옵니다.
잡스가 조지 루카스에게서 픽사를 사들여 자금을 댔으니, 두 회사에 같은 수준의 디테일이 들어간 것도 놀랄 일은 아니죠.
다른 분들 말씀대로 그건 여기서는 맞지 않는 곁가지 얘기입니다.
이 페이지의 예전 버전을 볼 수 있는 방법이 있나요? 저는 Encanto 때 만든 게 정말 좋았거든요. 특히 프레임별로 보여 주는 시퀀스가 재미있었어요.
그러고 보니 생각나는 일이 있습니다. 어린이 박물관에 갔는데, 물리적인 플라이휠 컨트롤러를 돌려서 영상을 앞뒤로 훑어볼 수 있는 전시물이 있었어요. 영상 제작에서 스크러빙할 때 쓰는 표준 장치인지는 모르겠지만, 써 보니 정말 재미있었습니다.
Encanto 제작 과정 페이지는 여기 있습니다. https://disneyanimation.com/process-encanto/
이제 "Kono Express"를 보세요. 디즈니가 스타워즈 공장에서 일하던 애니메이터 한 명을 해고했는데, 그 사람이 혼자서 디즈니 애니메이션에 버금가는 결과물을 뽑아내고 있어요. 물론 Unreal Engine과 AI 도구를 쓰고요.
잉크와 페인트 부서가 있던 시절은 정말 오래전 일이 됐네요.
열린 마음으로 봤는데, 저한테는 곧바로 생기 없는 AI 영상처럼 느껴졌습니다. 반면 Neural Viz는 현재 AI의 약점을 피해 가고 사람이 쓴 탁월한 글을 더해서, 혼자서도 볼 만한 걸 만들어 냈어요[0]. 혼자 다 하느라 지쳤는지 마지막 업로드가 꽤 오래전이라는 건 어쩌면 당연한 일이겠죠. 제일 좋아하는 건 Remo Green 편입니다[1].
[0] https://www.wired.com/story/the-future-of-ai-media-parody-of-the-apocalypse-guy-named-josh/
[1] https://www.youtube.com/watch?v=5bYA2Rv2CQ8
1화는 그렇습니다. 점점 나아지고 있어요. 3화쯤 되면 캐릭터들이 살아 있고 배경도 정말 좋습니다.
네? 3화 0:30에서 주인공이 수로에서 나와 교차로로 들어서는데, 5초 뒤에는 방금 나온 바로 그 자리에 벽이 서 있어요. 캐릭터는 끔찍하게 밋밋하고, 물 위를 서핑하는 데 무게감도 재미도 없습니다. 보통 보드 타는 주인공이라면 자기 탈것을 능숙하게 다루는 모습으로 그려지는데, 이 인물은 그 위에서 석상처럼 뻣뻣하게 서 있어요.
게다가 화면 전체가 AI 특유의 과하게 선명한 질감인 데다 화면 곳곳에서 아무 데나 흐려지는 부분이 생기는데, 아마 영상 생성이 5초 단위로 이뤄지기 때문이겠죠.
배 위에 있던 개 같은 생물은 재미있는 추가 요소였지만, 쿠노가 쓰다듬기 전과 쓰다듬는 동안과 그 뒤까지 왠지 어색한 침묵이 길게 이어졌고요.
이게 당신이 말하는 살아 있는 캐릭터라면, 2022년 이전에 나온 좋은 책을 읽거나 좋은 시리즈를 보시길 권합니다.
Neural Viz는 일관성도 정말 좋았고 대본도 정말 좋았어요. 또 AI가 할 수 있는 일의 한계에 맞춰 이야기를 쓸 줄 알았다는 점도 중요합니다. 비인간 캐릭터를 써서, 제가 Kono Express 영상에서 바로 느낀 불쾌한 골짜기를 피했죠. 정말 자기 분야의 달인인데, 손을 놓았다니 아쉽네요!
여기 댓글들에서 이 영상의 품질을 두고 다투는 걸 보니, 예술의 디테일에 대한 애정이 얼마나 사라졌는지 알 수 있습니다. 예를 들어 1화는 가방을 싸는 남자를 클로즈업으로 전환하자마자 어색함이 튀어나옵니다. 배경의 여자가 첫 번째 샷에서 남자가 있던 위치를 기준으로 하면 있을 수 없는 자리에 갑자기 서 있어요. 일반적인 영화였다면 보는 사람이 어색해서 몰입이 깨졌을 겁니다. 스마트폰을 든 영화과 1학기 학생이라도 이보다는 장면을 잘 세팅할 줄 알 거예요.
회차마다 나아진다는 분들이 있어서 6화로 건너뛰어 봤습니다. 첫 샷부터 계단이 뚝뚝 끊겨 있습니다. 그다음에는 소년이 엉뚱한 자리에서 스케이트를 타고 화면에 들어와 보드를 집어 드는데, 그 보드가 불가능한 방식으로 뒤집혀요.
AI 영상 분야에서는 흥미로운 실험이 많이 진행되고 있어서 계속 지켜보고 있습니다. 나루토 "실사판"은 캐릭터와 장면 제어의 한계를 밀어붙이는 흥미로운 실험이에요. 제가 보기엔 명백한 저작권 침해이고, 참고할 수 있는 원작이 있어서 그만큼 나아갈 수 있었던 거겠죠. 그 말은 시각적으로 힘든 일은 이미 아티스트들이 많이 해 놨다는 뜻입니다. 그래도 신중하게 다루면 최전선이 어디쯤일지 보여 주는 좋은 사례입니다. 하지만 이 Kono Express는 말 그대로 쓰레기입니다.
저는 캐릭터의 신발을 클로즈업해서 이미 묶인 신발 끈을 마법처럼 또 묶게 하고, 재킷을 소매 사이로 입게 하고, 컷도 나쁘고 프레임도 뚝뚝 끊기는 지루한 장면을 한참 걷게 하다가 또 다른 재킷을 앞쪽에서 입게 해서 그게 원피스형 잠옷으로 변하게 만드는 디즈니 애니메이션은 본 적이 없습니다.
다른 댓글에서 3화 이후로 훨씬 나아진다고 하셨는데 동의하지 않습니다. 4화도 봤는데 여전히 움직임은 뻣뻣하고, 얼굴은 엉망이고, 템포도 대사도 형편없어요.
이게 전문 애니메이션처럼 보인다고 생각하는 사람이 있다는 것 자체가 전문가들이 힘들어하는 이유입니다. 이제 이 일의 가치를 깎아내리는 건 그만두고, 그 안에 무엇이 들어가는지 눈여겨보기 시작합시다. 디테일이 작품을 만듭니다.
며칠 전에 애니메이터가 AMA를 했는데 별로 반응이 없었어요.
https://news.ycombinator.com/item?id=50187389
아, 아쉽네요. 올라온 것도 못 봤어요.
새 글을 챙겨 보는 사람들(Knights of New)이 모집 중이에요.
이 중에서 AI가 자동화하는 부분은 얼마나 될까요? 자동차 디자인 그림이나 스토리보드 같은 건 생성형 AI가 대부분 없애려는 대상 아닌가요?
저는 X에서 좀 긴 AI 영화들을 보고 있는데(예를 들면 오소리 대 쥐를 다룬, 반지의 제왕처럼 생긴 것), 거기에도 분명히 엄청난 작업이 들어갑니다. 다만 그 작업의 성격이 Zootopia에 대한 이 글에 나오는 것과는 상당히 달라요. 사람이 내리는 결정이 훨씬 적습니다. 창작과 관련된 결정을 AI가 많이 이끌고 가죠. 결국 좋은 결과물이 나오긴 하지만, 그게 Zootopia를 만든 사람들처럼 모든 요소를 손으로 빚어낸 인간들에게서 나온 학습 데이터의 결정에 여전히 얹혀 가는 건 아닐까요? 흥미로운 질문이라고 생각합니다.
스토리보드의 핵심은 무엇을 만들고 싶은지 정하는 겁니다. 그것도 "프롬프트"의 일부로 볼 수 있겠죠.
취향이라는 게 조금이라도 있다면 자동화로 없앨 수 있는 일이 아닙니다.
물론 그렇죠. 하지만 그러면 그 부분을 AI 모델의 비전에 맡기는 셈이잖아요. 저는 이 간극이 얼마나 간과되고 있는지가 궁금할 뿐입니다. 통제력을 일부 잃는 건 분명한데, 얼마나 잃는지, 그게 실제로 얼마나 가치가 있는지는 아직 모릅니다. AI로는 같은 종류의 영화가 계속 나오게 될까요? 아직 이르긴 하지만, 모든 디테일을 통제하는 "전통적인" 워크플로에 얼마나 많은 작업이 들어가는지 보면 단서가 좀 보입니다.
그럴 수밖에 없지 않나요? AI가 쏟아낸 걸 사람이 이리저리 손본다 해도, 앞으로 사람이 만들 창작물은 AI가 이미 학습한 것의 변형으로 제한됩니다. AI가 과거의 작품을 계속 되풀이해 내놓고, 새 모델은 AI가 만든 쓰레기나 그 변형만 학습하면서 점점 더 걸러지니 예술이 획일화될 수밖에 없습니다.
애니메이션을 흥미롭게 만드는 건 창작상의 결정들입니다. 캐릭터 디자인, 소품 디자인, 배경 디자인, 스토리. 회사들이 아티스트에게 그런 창작상의 선택을 맡기지 않고 AI를 쓸수록 애니메이션은 더 모방적이고 덜 흥미로워질 겁니다.
흠, 흥미롭네요. 저는 픽사와 디즈니 애니메이션이 같은 렌더 소프트웨어를 쓰는 줄 알았는데 아니군요.
드림웍스는 Shark Tale 때 픽사의 Renderman을 다른 상용 패키지 여러 개와 함께 썼습니다. 드림웍스가 PDI를 인수한 뒤에는 (PDI는 DWA와 계약을 맺고 Shrek을 만들었습니다) 두 파이프라인 사이에 사실상 전쟁이 벌어졌고 PDI가 이겼습니다. 저는 PDI 쪽 사람이었는데, Renderman 파이프라인에도 좋은 점이 많았습니다.
저도 PDI 쪽이었어요. 반갑습니다, 여기서 만나다니 좋네요! Shark Tale이 RenderMan을 썼다는 건 잊고 있었습니다. 그래도 경쟁이 있었고 PDI가 파이프라인 싸움에서 이긴 부분이 있다고 해도, 결국 전쟁에서 이긴 건 DWA였다고 생각해요. :P ;) 협력도 많았습니다. 두 회사가 통합되는 데는 그냥 시간이 걸렸을 뿐이고, 양쪽 모두 자기들이 만든 멋진 툴에 애착을 가진 사람이 많았거든요. (저도 확실히 그랬습니다!)
PDI의 툴셋은 당시로서는 순수한 마법이었습니다. 제가 입사했을 때는 프로시저럴 애니메이션을 만들고, 파이프라인 단계를 넘나드는 새 이펙트를 만들고, 상상할 수 있는 건 뭐든 렌더링하는 게 너무 쉬워서 천국에 온 기분이었어요. 연구자와 취미 개발자들과 공유하고 싶었습니다.
우리는 모두 서로의 파이프라인으로 다음 작품을 만든다고 상상해야 했는데, 그게 재미있었죠. 결국엔 Shrek이 워낙 크게 성공한 덕에 Richard와 Jono를 비롯한 PDI 사람들의 영향력이 조금 더 커졌다고 생각합니다.
커스텀이냐 상용이냐는 늘 문제였습니다. NextGen 프로젝트 전체를 겪으셨나요? DWA는 한 작품, 어쩌면 몇 개 시퀀스에만 쓰이고 상용 툴로 대체된 커스텀 툴에 큰돈을 썼습니다.
아, 커스텀이냐 상용이냐는 확실히 그랬죠. R&D 팀이 개발비를 정당화하려고 매년 보고서를 써야 했던 게 기억납니다. 시중에 이미 나와 있는 도구들이 있는데 왜 자체 툴과 렌더러를 만드는지 되풀이해서 설명해야 했거든요. 윗사람들이 이해를 못 한다며 열을 올리는 사람들 얘기도 여기저기서 들었고요. "NextGen"이라는 말이 오갔던 건 기억나는데, 제가 그 시기를 겪은 건지 아니면 제가 (S3 전에) 떠날 때 막 시작하던 참이었는지는 기억나지 않습니다. Jono와 저는 한동안 우리 셰이더를 C++로 다시 짜는 걸 막으려고 했어요. (기능을 바꾸거나 추가하는 것도 없이 그냥 다시 쓰는 거였습니다.) 결국 포기하고 계속 새로운 걸 만들었는데, IP와 기술과 지원을 슬그머니 남쪽으로 옮기는 데는 꽤 성공적인 전략이었습니다. 돌이켜 보면 그게 옳은 전략이었을 수도 있지만, 그때는 좀 힘들게 느껴졌어요.