요약
애플이 Mac Studio 네 대를 MLX로 묶어 816B 모델 Muse Spark Open을 초당 36토큰 넘게 돌렸습니다.
애플 머신러닝 리서치가 10월 15일 공개한 글입니다. 오픈소스 프레임워크 MLX와 Thunderbolt 5 위의 RDMA(다른 기기 메모리에 직접 읽고 쓰는 저지연 통신)로 한 대에 안 들어가는 대형 모델을 여러 대에 나눠 돌리는 방법을 소개했습니다.
왜 중요한가
- 800B가 넘는 모델을 데이터센터가 아니라 책상 위 맥 몇 대로 돌릴 수 있다는 점을 보여 줍니다.
- 애플은 로컬 에이전트 코딩을 주요 쓰임새로 들며 Mac Studio를 전력이 적게 드는 사적인 AI 작업 장비로 내세웠습니다.
핵심 내용
- Muse Spark Open은 전체 816B, 활성 42B인 전문가 혼합(MoE) 모델로, 4비트로 줄여도 약 493GB라 한 대에 들어가지 않습니다.
- M5 Ultra 네 대를 텐서 병렬(각 층을 나눠 동시에 계산)로 묶으면 초당 36.73토큰을, 두 대 파이프라인 병렬은 15.74토큰을 냈습니다.
- 텐서 병렬은 토큰과 층마다 통신이 잦아 macOS 26.2의 RDMA 드라이버와 MLX의 jaccl 백엔드가 핵심입니다.
- 한 대만 놓고 보면 M5 Ultra는 M3 Ultra보다 첫 토큰이 최대 4.6배, 생성 속도가 1.6배 빨랐습니다.
- mlx_lm.server로 OpenAI 호환 로컬 서버를 띄워 OpenCode 같은 에이전트 도구에 붙일 수 있습니다.
HN 반응
- 일부 이용자는 메타가 큰돈을 들인 오픈 웨이트 모델을 돌리려고 애플에 2만 달러를 내는 셈이라며, 애플이 금광에서 삽을 파는 쪽이라고 봤습니다.
- 반면 로컬 LLM 시장이 그런 장비를 팔 만큼 큰지 의문이라는 반론과, 엔비디아처럼 직접 모델을 만들어야 더 나은 칩을 만든다는 지적도 나왔습니다.
그러니까 메타가 수백만, 수십억 달러를 들여 오픈 웨이트 모델을 만들면, 사람들이 그걸 돌리겠다고 애플에 2만 달러를 보내는 거네요. 애플한테는 꽤 남는 장사 같아요.
애플이 굳이 모델 학습이나 개발을 해야 할 이유가 뭐죠? 이미 삽을 파는 쪽이잖아요.
애플 사진 생태계는 프라이버시를 중시하고, 그 결과 (이제는) 기본이 된 일부 기능에 로컬 모델이 필요합니다.
Foundation 모델은 로컬 LLM이 빠르게 걸러 낼 수 있도록 놀라울 만큼 괜찮은 데이터 집합을 갖춰 두고 있습니다.
정리를 하려면 Qwen으로 더 느린 두 번째 패스를 돌려야 한다는 걸 알게 됐습니다. (저는 새 Mac Mini m5 pro 64gb에서 돌리고 있습니다.)
날짜 범위, 작년에 만든 레드 시더 화분 상자 제작에 대한 짧은 설명, 정답으로 알고 있는 사진 묶음으로 직접 테스트를 해 봤습니다.
가족 사진을 어떤 프런티어 모델 제공업체에도 올리지 않고 할 수 있는 멋진 일이 꽤 있습니다.
Foundation 모델에서 이상한 가드레일을 발견했습니다. 여성 한 명이 나오는 사진은 설명을 막아 버리는 식인데, 꽤 일관되게 그러면서도 매번 걸리는 사진이 다릅니다. 예를 들어 세트에 사진이 10장 있으면 한 번은 6장을 건너뛰고, 다음 실행에서는 3장을 건너뜁니다. 이런 가드레일 문제를 겪어 보셨나요?
저는 대신 Gemma 4로 갈아탔습니다.
'혼자 있는 여성'이라는 뜻이겠죠. 결혼 여부를 마법처럼 알아내서 진행을 거부한다는 뜻은 아닐 테고요. (결혼반지에만 레이저처럼 꽂혀 있을 수도 있겠지만요...)
저도 그래요. 새로 나온 embeddinggemma를 쓰는데, Foundation 모델보다 훨씬 쓸 만해 보여요.
아닙니다. 애플 사진 생태계는 사실상 모든 사진을 암호화하지 않은 채 애플에 업로드하고, 애플이 읽을 수 있는 형태로 보관해서 모든 콘텐츠를 서버 측에서 분석할 수 있게 합니다. 이 콘텐츠는 적법 절차나 영장 없이 미국이나 중국 정부 당국에도 제공됩니다.
iCloud 사진에는 프라이빗한 게 하나도 없습니다.
고급 데이터 보호(Advanced Data Protection)를 켜면(전 세계에서 쓸 수 있는 건 아니지만 미국에서는 됩니다) 사진은 종단 간 암호화(E2EE)됩니다.
ADP를 켜도 모든 사진의 평문에 대한 고유 해시는 애플에 업로드됩니다. 그래서 애플은 누가 어떤 고유한 파일을 언제 갖고 있었는지, 그다음에 누가 언제 갖게 됐는지를 전부 압니다. ADP를 켠 두 휴대폰 사이에서 곰돌이 푸 밈 원본을 주고받으면, 애플과 FBI는 누가 먼저 갖고 있었는지, 두 번째 사람이 언제 받았는지 알게 됩니다.
또 ADP가 기본으로 꺼져 있는 이상 시스템 전체를 '프라이버시 중심'이라고 할 수 없습니다. 제가 반박한 주장이 바로 그것이었고요.
애플은 대체로 사용자의 프라이버시에 신경 쓰지 않습니다. ADP는 지금이라면 만들어지지 않았을 테고, (영국에서 그랬듯) 결국 조용히 사라질 가능성이 큽니다. 쓰는 사람이 사실상 없으니까요.
영국에서 E2E가 제거된 건 전혀 조용하지 않았습니다. 뉴욕타임스와 WSJ, 그 밖의 세계 각국 신문 1면을 장식한 것을 '조용히'라고 부르는 게 아니라면요.
저는 이런 기능을 하나도 원하지 않는데 강제로 떠안겨졌고, 이제는 제가 원하는 대로 컴퓨터를 쓰는 데 방해만 돼요. 게임이나 무거운 애플리케이션은 'AI' 백그라운드 프로세스 때문에 느려지고 버벅이고, App Tamer를 써도 가만히 놀고 있을 때조차 기기가 만지기 힘들 만큼 뜨거워요. 23년에 M2를 샀을 때는 '이제까지 써 본 중 가장 빠르고 쾌적한 기기'라고 생각했는데, M5와 최신 macOS에서의 경험은 소비자를 우롱하는 지옥이라고밖에 할 수 없어요.
흥미롭네요, 제 경험은 전혀 달라요. 저는 M5 기기를 쓰는데 어떤 AI 기능이 추가됐는지조차 모르겠고, 속도는 예전 M1 Pro와 비교가 안 될 만큼 앞서요.
M1도 예전엔 속도가 충분했어요. 그러다 애플이 iCloud를 안 써도 돌아가는 상시 클라우드 데몬을 계속 추가했죠.
방금 옆 댓글 작성자에게 쓴 댓글을 보세요, 그게 제 경험이에요. 이제 일하는 동안 하루 종일 팬을 최고 속도로 돌려야 컴퓨터로 타이핑을 할 수 있어요(매직 키보드를 쓰지 않을 때요). 작은 문제도 아니고 정말 큰 문제예요. 매일같이 저를 괴롭히는 일이라, 이 기계를 반으로 부숴 버리고 숲속으로 사라지고 싶은 마음이 점점 커져요.
제 맥들은 시원하고 조용해요. 백그라운드에서 자원을 잡아먹는 'AI' 프로세스를 본 적이 없어요.
AI 프로세스만 문제가 아니에요. mediaanalysisd, duetexpertd 같은 것들, 심지어 빌어먹을 메뉴 막대 에이전트까지, 전부 가만히 있을 때도 쓰고 있을 때도 수시로 제 컴퓨터를 두들겨 패요.
최근에 App Tamer를 설치했는데 조금 도움은 되지만 모든 걸 통제하게 해 주지는 않아요. 방금 확인해 보니 duetexpertd가 거의 코어 두 개를 통째로 쓰려 하고 있었어요. iCloud 연동은 전부 꺼 뒀고 iCloud는 전혀 쓰지 않고 아이폰도 없는데, 이 iCloud 데스크톱-폰 동기화 프로세스가 백그라운드에서 그렇게 높은 코어 사용률로 아주 규칙적으로 돈다는 게 어이가 없어요. 증거: https://imgur.com/VkBh9bi
안타깝게도 WindowServer 같은 서비스에는 이게 소용이 없어요. 이제는 혼자서 코어 하나의 50~100%를 차지하는 경우가 많거든요.
재설치도 해 보고 최신 버전으로 업그레이드도 했어요. 이 맥북은 산 지 몇 달밖에 안 됐고요.
이 글을 쓰는 동안 별 대단한 일도 하지 않는 작업 하나를 돌리는 Codex와, CPU를 많이 쓰는 탭이 없는 Firefox만 열어 뒀을 뿐인데 노트북이 너무 뜨거워져서, 설치해 둔 다른 프로그램인 Stats로 팬 속도를 수동으로 올려야 했어요. macOS 기본 시스템 팬 제어도 정말 쓰레기 같거든요.
저는 섬유근육통이 있어서 뜨거운 키에 민감한 것 같아요. Thinkpad가 가볍게 쓰는데도 툭하면 만지기 힘들 만큼 뜨거워지는 것, 바로 그게 제가 23년 어느 날 아침 맥북을 사러 간 이유예요. 그날 아침 키보드를 만지다가, 손끝 신경이 지져지고 몇 시간씩 아픈 게 지긋지긋하다는 걸 깨달았거든요. 그런데 26년인 지금, 훨씬 비싼 컴퓨터로 똑같은 처지에 놓여 있으니 기업이 만든 지옥 같은 악몽 속에 사는 기분이에요.
또 하나 알게 된 건, 코어가 전부 놀고 하나만 돌아도 기기가 엄청나게 뜨거워진다는 거예요. 하드웨어가 그렇게 설계됐다면 소프트웨어는 반드시 그에 맞춰 돌아가도록 설계돼야지, 말썽 부리는 시스템 프로세스 열두어 개에서 스물 몇 개 중 하나가 백그라운드 작업을 끝내려 할 때마다 코어 하나를 10분씩 쉬지 않고 몰아쳐서는 안 돼요. 소프트웨어가 그렇게 설계돼 있지 않다면 하드웨어가 미완성이고 결함이 있는 거예요. 펌웨어로 출시됐어도 마찬가지일 테고, 소프트웨어라고 봐줄 이유가 없어요.
하지만 이제 Pages와 Numbers가 문서 제목을 추천해 주니까... 그럴 만한 가치가 있겠죠?
저는 전혀 그렇지 않은데요. 혹시 쓰시는 튜닝 중 하나 때문에 소프트웨어가 이상한 상태에 빠진 건 아닐까요. 허공에 외치는 기분이 들더라도 애플에 신고해 볼 만하다고 생각해요.
어떤 튜닝이요? 정상적인 기기에 설치한 순정 macOS 27이에요. 물론 그 위에 개발 스택을 올리긴 했고요. OS 재설치도 이미 해 봤어요. 그 밖의 설정은 전부 시스템 설정과 프로파일에서 Ansible로 적절히 구성해서 기기가 정확히 어떤 설정 상태인지 알고 있어요. 제가 시스템 프로세스에 건드린 이상한 건 없고, 컴퓨터를 쓰는 동안 프로세스들이 계속 코어 여러 개를 쓰지 못하게 막으려고 이제 App Tamer를 쓰는 것뿐이에요.
제 불만이 허공으로 사라진다는 느낌은 맞아요. 애플 지원 포럼에서 사람들이 어떤 답을 받는지 봤는데, 마이크로소프트를 볼 때와 똑같이 거부감이 들어요. 요즘은 누군가가 LLM으로 뽑아낸, 이력서 쓰기 같은 틀에 박힌 훈계조 답변을 받게 될 게 뻔하고요. 이 난장판에서 벗어날 제 유일한 희망은 Gravity Linux가 따라잡아서 SEP와 썬더볼트를 완전히 지원하는 거예요. 그렇게 되면 전 떠날 겁니다.
저와 같은 경험과 당신의 경험 중 어느 쪽이 더 흔한지는 궁금해요. 여러 플랫폼에서 제 경험을 뒷받침하는 글을 수백 개는 금방 찾을 수 있거든요. 제가 파악한 바로는 제 경험이 갈수록 흔해지고 있고, 어쩌면 당신 경험보다 더 흔할 수도 있어요. 알기는 어렵지만요.
App Tamer를 쓴다고 하셔서 뭔가 특이한 짓을 하는 줄 알았는데, 찾아보니 공개 API를 쓰는 것 같으니 문제를 일으킬 리는 없겠네요.
세상엔 맥이 아주 많이 있어요. 그게 일반 사용자의 흔한 경험이라면 놀랄 것 같지만, 제 표본이 작다는 건 충분히 인정합니다.
요즘 신고가 어떤 취급을 받는지에 대한 답답함도 충분히 이해해요. 저는 어딘가 데이터베이스에 집계 표시 하나 그어지는 정도로 기대치를 잡아 둬요. 표시가 충분히 쌓이면 사람이 들여다보겠지 하는 희망을 걸고요. 그래도 큰돈을 들여 산 물건이라면 정말 맥이 빠지죠.
읽으면서 저도 딱 그렇게 생각했습니다.
애플은 오픈AI나 앤트로픽 같은 곳에 기대지 않고도 누구나 AI를 쓸 수 있게 해 줄 하드웨어를 만들어 팝니다.
애플에게 해자는 애초에 없었습니다. 다른 누구든 이런 하드웨어를 만들 수 있었는데 만들지 않았을 뿐입니다.
그래서 어떤 모델이 이기든 상관하지 않습니다. 어차피 모델은 언제나 네트워크 가장자리(엣지)로 옮겨 갈 테고, 그 엣지의 상당 부분을 애플이 쥐고 있으니까요.
글쎄요, 해자는 CPU/NPU 개발이 아주 어렵다는 점이에요. 유능한 엔지니어가 필요하고, 최첨단 팹 공정을 쓸 수 있어야 하고, 그 모든 게 결국 막대한 $$$가 들거든요. 그러니 그걸 다 갖춘 '누구든' 애플의 해자를 넘을 수 있는 건 맞죠.
그래서요.. 사람들은 왜 하필 애플에서 일할까요?
힌트를 드리자면, 돈만이 이유는 아니에요.
참 나.
제가 아는 똑똑한 사람들은 대부분 애플을 떠났어요. 최근 십 년, 십오 년 사이에 돈 말고 다른 이유들은 다 사라졌고, 월급도 많이 주지 않거든요.
두 가지 모두 매우 틀린 말 같습니다. 애플에게는 거대한 해자가 있습니다. 그리고 애플은 (구체적으로 CPU에서) 2년 앞선 하드웨어를 만들고 있습니다.
어음.. 뭐라고요?
애플의 가장 큰 경쟁력은 예나 지금이나 앞으로도 신뢰예요. 거기에 대다수 사람이 그 사실을 알게 만드는 엄청난 마케팅이 더해지죠.
품질에 대한 신뢰, 데이터와 관련한 프라이버시에 대한 신뢰 등등요.
죄송하지만 지난 몇 년간 애플에 대한 형편없는 주장을 너무 많이 봤어요. 여러분 중 많은 분이 자기 분야 밖의 주제에 대해서도 자기가 아주 똑똑하다고 생각하는데, 아니에요.
애플의 성공이 경쟁사들에는 없는 독특한 내부적 강점 덕분이라는 점을 과소평가하지 마세요.
애플은 수십 년에 걸쳐 수직 통합을 쌓아 가며 자신들의 골칫거리 천 가지와 고객의 골칫거리 여러 가지를 없애는 법을 익혀 왔습니다.
통신, 프로세서, 기기, OS 변종을 직접 함께 설계하고, 공급망과 판매 채널도 자체적으로 통합해 두었습니다.
결과가 좋을수록 그 전달 과정은 눈에 보이지 않고 시계처럼 정확해집니다.
간과하기 아주 쉽습니다. 하지만 애플이 선 자리에서는 아무도 애플을 따라올 수 없습니다.
(닌텐도 역시 여러 세대에 걸쳐 성공한 기기들에 독특한 내부 강점을 적용했습니다. 소박한 부품의 수직 통합, 범위를 좁힌 소프트웨어, 탄탄한 재미 이론, 새롭고 세련된 인터페이스를 갖춘 깊이 있는 브랜딩이 그것입니다.)
부모 댓글에서 정확히 뭐가 틀렸다는 거죠? 애플은 늘 사람들이 웃돈을 내고서라도 쓰고 싶어 하는 하드웨어를 잘 만들어 왔어요. 1980년대 개인용 컴퓨팅이나 2010년대 스마트폰에서 했던 것과 비슷한 역할을 로컬 LLM에서도 하는 모습이 쉽게 그려지는데요.
푸하하
거울을 돌려서 본인을 보세요
엔비디아도 삽을 팔지만 자체 LLM도 학습시킵니다. 그렇게 해서 CUDA와 칩을 미세 조정해 다른 곳보다 더 좋은 삽을 만들 수 있습니다.
엔비디아의 자체 모델이 오픈AI나 어떤 SOTA 모델을 이길 필요는 없습니다. 하이퍼스케일러와 메타 같은 비하이퍼스케일러가 이제 자체 AI 칩을 만들고 있으니, 엔비디아는 더 나은 칩을 만들 사내 전문가와 지식을 쌓기만 하면 됩니다.
애플은 더 나은 삽을 파는 법을 배우려고 자체 모델을 학습시키지 않는 쪽을 택할 수도 있습니다.
로컬 LLM 시장이 얼마나 크죠? 애플이 대당 2만 달러짜리를 충분히 팔아서 하나의 사업 부문으로 수지가 맞을 거라고는 상상이 잘 안 돼요.