요약
애플 연구진이 놀고 있는 Apple Silicon 맥의 GPU를 모아 추론용 가상 GPU 클라우드로 쓰는 Minions를 공개했습니다.
애플 머신러닝 연구 사이트에 올라온 3쪽짜리 짧은 논문입니다. 중앙 GPU 인프라는 비싸고 대기가 길지만, 업무용 맥의 GPU는 대부분 놀고 있다는 점에서 출발했습니다.
왜 중요한가
- GPU를 새로 사지 않고 이미 가진 맥으로 대규모 추론 작업을 처리할 수 있다는 운영 경험을 보여 줍니다.
- 논문 표에 따르면 길게는 10시간 넘던 GPU 대기가 몇 분으로 줄었고, 추가 인프라 비용은 들지 않았습니다.
핵심 내용
- 서버가 큰 작업을 하위 작업으로 쪼개면, 각 맥의 실행기가 이를 받아 로컬 GPU로 추론합니다.
- 중앙 스케줄러 없이 실행기가 REST API로 일을 직접 가져가고, 한 하위 작업은 한 기기만 맡습니다.
- 실행기는 5분마다 생존 신호(하트비트)를 보내고, 신호가 끊기면 감시 프로세스가 작업을 다른 기기로 넘깁니다.
- 지원 작업은 HuggingFace 모델로 만드는 임베딩(문서를 숫자 벡터로 바꾼 값)과 Ollama를 쓰는 LLM 응답 생성입니다.
- 효과는 정량 실험이 아니라 운영하며 관찰한 결과로 제시됐고, 분산 학습은 향후 과제로 남았습니다.
HN 반응
- 렌더 팜, Folding@home 같은 오래된 발상이라는 지적과 함께 꼬리 지연(일부 작업만 늦게 끝나는 현상)을 경고한 경험담이 나왔습니다.
- 가정이나 사무실 컴퓨터에 일을 나누면 데이터센터보다 전기료가 더 들 수 있는데 논문이 이를 다루지 않는다는 비판도 나왔습니다.
맥을 오래 써 온 사람이라면 이건 애플의 주특기 영역이라는 걸 아실 겁니다. 애플은 이미 Final Cut Pro 렌더링, Logic Pro, Grand Central Dispatch, Xcode 분산 CI/CD에서 비슷한 일을 하고 있습니다. 애플 본사에는 고성능 맥북 프로와 아이맥이 아마 수천 대 놓여 있을 테고, 이 기기들로 밤새 추론 작업을 상당히 돌릴 수 있을 겁니다.
[0] https://en.wikipedia.org/wiki/Grand_Central_Dispatch
[1] https://developer.apple.com/documentation/dispatch
Incredibuild가 떠오르네요.
참고로 Visual Studio에는 기본으로 들어 있습니다.
Folding@home도 있죠.
제가 이해를 못 해서 죄송한데, 이게 대체 무슨 얘기인가요?
말하자면 AI 워크로드용 SETI 같은 건가요? 적어도 랜딩 페이지를 보고 받은 인상은 그랬어요.
솔직히 좀 헷갈리네요.
Minions는 이미 애플 내부에서 쓰이는 기업용 시스템입니다. 놀고 있는 맥 GPU를 모아 ML 추론용 공유 컴퓨트 클러스터로 만듭니다.
텐서 병렬화로 LLM 하나를 여러 GPU에 나눠 돌리는 분산 실행은 여기에 없습니다. 대신 태스크 수준의 병렬성에 의존합니다. 큰 작업을 서로 독립적인 하위 작업으로 쪼개서 여러 대의 기계에서 따로 돌리는 방식입니다. 예를 들면 문서 100만 건의 임베딩을 생성하는 일입니다.
이런 패턴은 수백, 어쩌면 수천 개 조직에서 (그리고 조직 사이에서도) 이미 구현됐습니다. 저는 구글에서 유휴 사이클을 수확하는 대규모 프로젝트(3년 동안 24시간 내내 100만 코어 이상)를 운영하면서 데이터 분배 전략으로 특허를 받았습니다.
좋은 아이디어이긴 한데, 결국 꼬리 지연 시간이 엄청나게 길어지고, 기기 구성이 제각각이라 미묘한 비호환이 생기고, 데이터베이스와 스케줄러 관리 문제까지 떠안게 되는 경우가 많습니다.
저희 대학은 2000년 초에 스크린세이버가 켜진 유휴 워크스테이션들로 렌더 팜을 돌렸어요. 같은 개념이죠.
애플도 2005년부터 간단한 분산 비디오 인코딩을 해 왔으니 컴퓨팅에서 새로운 건 아니라는 말은 맞습니다. 그래도 작업 하나가 한 대에서 편하게 돌아가기 전까지의 공백을 메워 준다는 점에서는 여전히 쓸모가 있습니다.
쉿, "혁신적"이라고 해야죠. /s
GPU 컴퓨트라면 혁신적인 게 맞죠.
분산 GPU 컴퓨트는 꽤 오래전부터 있었어요.
https://developer.nvidia.com/gpudirect
옛날 논문까지 파고들 의욕은 없어서 최근 NVIDIA 자료로 때우는 겁니다.
그러니까 기본적으로 Folding@Home과 똑같은 방식으로 돌아간다는 거죠?
Embedding@Work네요.
HotBackpack@Commute.
DeadBattery@Work.
같은 로컬 네트워크 안에서만 되겠죠, 아마.
아니면 distributed.net이나요.
SETI@home 같은 방식이 다 그렇듯, 이 논문도 에너지 비용은 다루지 않습니다.
물론 가정집이나 사무실 데스크톱에서 놀고 있는 기계에 작업을 나눠 줄 수는 있습니다. 하지만 전기가 더 싸고 하드웨어 효율도 더 좋은 데이터센터로 보내는 쪽이 훨씬 싸게 먹히는 경우가 많습니다.
@home 프로젝트 전성기에는 전력 사용량이 지금보다 훨씬 무시할 만한 수준이었어요. 멋진 스크린세이버도 있었고요.
어차피 방을 데우려고 돈을 쓰는 겨울에는 이점이 있을 수도 있겠네요.
기업에는 괜찮을 것 같아요. 이미 갖고 있는 기기로 퇴근 시간 이후에 추론을 돌리는 거죠. 즉시 처리할 필요가 없는 분석 작업에는 쓸 만하겠어요. 다만 기술적으로는 그렇게 획기적으로 보이지 않네요.
제 생각은 좀 도발적인데, 애플이 자사 칩의 독자적인 공급망을 만들고 자체 클라우드를 구축하는 데 투자하지 않아서 큰돈을 놓치고 있다고 봅니다. 범용 ARM 컴퓨트에서는 애플이 선발주자 이점을 쥐고 있었다고 할 수 있어요. 시장에 물량을 쏟아붓고 누구나 쉽게 빌려 쓰게 만들기만 하면 됐죠. 시장 한 자리를 차지할 뿐 아니라, 다른 칩 제조사들에 쏠린 수요 압박도 어느 정도 덜어 줬을지 모릅니다.
TSMC나 삼성의 팹을 통째로 사 버리는 것 말고는, 애플이 수직 통합된 고성능 칩 공급망을 만들 방법이 안 보입니다. 적어도 10년 안쪽으로는 어렵습니다. 그 정도 기간이면 지금의 공급난은, 이익률을 조금 손보는 정도가 아니라 온 힘을 쏟는 회사들이 해결할 가능성이 높고요.
솔직히 애플이 아직 그런 회사 하나도 안 샀다는 게 놀랍네요.
대만이나 한국이 이걸 허용할 가능성은 0입니다. 각 회사와 나라마다 국가 안보를 이유로 막을 겁니다.
일종의 보험 역할을 할 수도 있겠네요.
그 논리는 저도 이해가 가요. 애플은 "해롭지 않은 소비자 기기 회사"라서, 중국 시장과 미국 시장에 걸쳐 장기적으로도 지리적으로 계속 분산된 상태를 유지할 가능성이 높으니까요.
(재미있게도 재무 공시에서는 PRC와 ROC가 합쳐져 있는 것으로 알고 있어요.)
중동에 있는 AWS 데이터센터한테는 별 도움이 안 된 것 같은데요.
그걸 왜 자기 대차대조표에 올리고 싶겠어요?
게다가 애플은 원하는 만큼의 생산 능력을 사들일 수 있을 만큼 대규모로 구매 주문을 넣을 수 있습니다.
TSMC가 터무니없는 웃돈을 붙여도, 자체 팹을 운영하는 것보다는 몇 배나 싸게 먹힐 겁니다.