요약
IBM CEO는 오픈 웨이트 모델이 최신 모델 성능의 90%를 10~25% 비용으로 낸다고 말합니다.
IBM의 아르빈드 크리슈나 CEO가 3분기 실적 발표에서 투자자들에게 한 말입니다. 그는 공개된 가중치를 내려받아 쓰는 오픈 웨이트 모델을 기업이 자체 서버(온프레미스)에서 돌리는 쪽이 이제 이치에 맞는다고 했습니다.
왜 중요한가
- 기업 AI 도입의 걸림돌이 모델 성능에서 운영 역량으로 옮겨 갔다는 진단입니다.
- 크리슈나는 기업이 커널 엔지니어와 네트워크 전문가를 구하는 데 애를 먹는다고 인정했습니다.
- IBM은 이 공백을 메울 배포 소프트웨어를 만들겠다고 해 온프레미스 AI를 새 사업 기회로 보고 있습니다.
핵심 내용
- 오픈 웨이트 모델은 최신 프런티어 모델 토큰 비용의 10~25%로 90% 수준의 효과를 낸다고 했습니다.
- 가상의 종합 점수로 치면 70 대 20~30이던 격차가 2025년 말부터 70 대 50 정도로 좁혀졌다고 설명했습니다.
- 이메일 요약, 계약서 검토, 고객 상담 같은 일상 업무는 싼 모델로 충분하다고 봤습니다.
- 기사는 대부분의 기업이 서버 랙 두세 개로 쓸 만한 AI 설비를 갖출 수 있다고 전했습니다.
- 크리슈나는 이 수요가 IBM의 AI 가속기 카드 Spyre 판매를 늘릴 것이라고 내다봤습니다.
HN 반응
- 일부 이용자는 자체 GPU 장비로 Qwen 3.8과 GLM 5.3을 돌리며 거부 응답, 사용 한도, 사생활 걱정이 없다는 점을 장점으로 꼽았습니다.
- 반면 2만 5천 달러짜리 장비와 전기료를 따지면 클라우드보다 싸지 않고, 로컬 모델은 같은 문제에 훨씬 많은 시행착오를 거친다는 경험담도 나왔습니다.
전부 맞는 말입니다. 저는 세 가지 구성을 갖춰 놨는데, GPU 8개짜리 장비는 두 가지 모드로 씁니다(8개를 전부 써서 아주 무거운 모델을 돌리거나, 1개만 써서 훨씬 가벼운 모델을 돌립니다). 그리고 DGX Spark가 두 대 있습니다. 유료 모델은 몇 달째 안 썼습니다. 물론 토큰은 좀 더 쓰고 결과도 약간 떨어질 수 있지만, 어차피 제가 중간에 계속 개입하니까 바로잡기 쉬워서 별로 문제가 안 됩니다. 무엇보다 제 작업물을 유료 서비스 업체에 넘기지 않아도 된다는 점이 훨씬 마음에 듭니다. 한 단계마다 빅 브라더가 어깨 너머로 들여다보고, 가끔씩 "미안하지만 그건 안 되겠어, 자크" 하는 식으로 나오는 것보다는 훨씬 낫습니다.
예전에는 게임을 오락실에서 한 판에 25센트씩 내고 했습니다.*
시간이 흐르자 네오지오가 오락실 수준의 하드웨어를 집에서 즐길 수 있게 팔기 시작했습니다('온프레미스'인 셈이죠). 다만 가격은 대부분의 사람이 엄두도 못 낼 수준이었습니다. 그 옆에서 닌텐도와 아타리는 재미의 80%를 비용의 20%에 주었습니다. 역사는 오락실을 집에서 하는 게임에 비하면 한때 반짝하고 만 것으로 기억할 겁니다.
남코, 캡콤, 코나미는 하드웨어 대신 소프트웨어를 파는 쪽으로 넘어갔지만, Fable**의 집 설치용 사본을 X,000달러에 사는 모습은 가까운 시일 안에는 상상하기 어렵습니다.
⸻
** 비디오 게임이 아니라 모델 말입니다.
Fable 같은 모델을 산다는 게 어렵게 느껴지신다면, Qwen 3.8 같은 최신 오픈 모델을 한번 써 보세요. 정말 빠르게 따라오고 있습니다.
지금은 Qwen 3.8과 GLM 5.3이 제 주력입니다. Qwen은 'ninfer'를 쓰면 엄청나게 빨라서 단순한 작업에 쓰고, GLM 5.3은 복잡한 작업을 아주 잘하고 중간에 막힐 가능성도 낮아서 개입 없이 훨씬 오래 돌려 둘 수 있기 때문에 씁니다.
저는 5090 하나를 꽉 채우는 크기로 Qwen 3.8을 ninfer나 Strata에서 돌리고 있습니다.
에이전트와 꽤 많이 코딩해 본 경험을 말씀드리겠습니다(Strata에서는 Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-0, ninfer에서는 Qwen 3.8 27B를 썼습니다). 제 경우에는 최근 HN에 올라온, 노래를 얼마나 음정에서 벗어나게 불렀는지 곡과 비교해 시각화해 주는 것을 웹 앱이나 이식 가능한 네이티브 앱으로 따라 만들려고 했습니다.
제 경험상 두 모델 모두 해법에 도달하기까지 엄청난 소음을 만들어 냅니다(비유가 아니라 실제로 음 감지 알고리즘을 시험한다고 제 컴퓨터에서 소리가 나는 단위 테스트를 돌렸습니다). 그것도 해법을 찾아냈을 때 얘기고요. 반면 Claude(최신 모델이 뭐든 간에)나 ChatGPT(마찬가지)는 올바른 해법을 얻는 데 10분의 1 정도의 작업만 합니다. GLM 5.3을 돌릴 자원이 있다면 Qwen-3.8 27B보다 동작하는 해법에 훨씬 빨리 도달하겠지만, 그래도 Claude나 ChatGPT의 해법보다는 어느 정도 떨어질 것 같고, 전기 요금도 훨씬 많이 나올 것 같습니다.
GLM 5.3은 어떻게 돌리세요?
윗 댓글에서 GPU 8개에 DGX Spark 두 대가 있다고 하셨잖아요.
그분이 /u/jacquesm 이니까, 그런 장비가 있다고 주장한다기보다 그냥 있다고 보는 게 더 후한 해석이겠죠.
DGX Spark 두 대로도 기껏해야 Q2까지가 한계입니다. GPU 쪽은 물론 구성에 따라 다르지만, 5만 달러 아래로는 Q2조차 못 돌립니다.
그리고 Q2라면 DGX Spark 한 대에서 Qwen3-coder-next를 돌리는 편이 낫다고 봅니다(아니면 훨씬 더 낫게는 애플 실리콘 맥스 계열이요. 지금은 중고 m1 max 64G가 가격이 최소 세 배인 DGX Spark를 이기는 황당한 상황입니다).
Strix Halo용 Halogen flash 서버는 qwen3.8 flash next를 40GB로 돌립니다.
이 비유 정말 마음에 들어요.
동전 넣는 SF2 챔피언 에디션이 신품으로 6000달러쯤 했고, 토큰으로 시간을 빌려서 했던 게 생각나네요. 그러다 결국 꽤 괜찮지만 기능은 제한된 SNES판 SF2를 토큰 없이 집에서 할 수 있게 됐죠. 그 뒤에는 PC 하드웨어가 발전해서 에뮬레이터로 똑같은 비트를 원본보다 더 좋은 화질로 돌릴 수 있게 됐고요.
AI도 에뮬레이터 단계에 이르면 정말 좋겠네요.
2050년에는 2025년 LLM 모델이 주던 향수를 그리워하게 될까요?
어쩌면 우리 모두 완벽하게 맞고 때로는 엉뚱한 곳에 들어가던 em—대시를 그리워할지도 모르겠네요.
저는 벌써부터 아주 초기 Dall-e의 LSD 같은 그림이 그립습니다. 참고: "Sleeping Horses - Nov 2021".
그 초창기 GAN 이미지 생성기들은 워낙 기괴해서, 거기서 나온 그림에는 진짜로 창의적이라는 느낌이 있었습니다. 요즘 사람들이 퉁퉁퉁 사후르 같은 인스타그램 릴스 쓰레기 영상을 만들 때 쓰는 것들이 그런 걸 만들어 낼 수나 있는지 모르겠습니다.
저라면 닌텐도가 네오지오보다 10배는 재미있었다고 하겠어요. 네, 네오지오가 화려해 보이긴 했지만, NES의 마리오와 젤다는 다른 어떤 것과도 비슷하지 않은 느낌으로 즐길 수 있었거든요. 그러다 SNES로 스트리트 파이터 2까지 나왔는데, 제가 해 본 SNK 대전 게임 어느 것보다 낫고요 :)
(네오지오 팬들은 분명히 반대할 테니 이제 얼른 피해 있을게요!)
저도 동의합니다. 오락실은 JRPG가 주는 경험을 절대 줄 수 없었으니까요. 동전을 엄청나게 넣지 않는 한, 어느 가게도 한 사람이 기계를 하루 종일 차지하게 두지는 않았을 겁니다.
2D 액션 게임은 메탈 슬러그에서 정점을 찍었습니다.
/SOtN이 채팅방에 들어왔습니다.
(저도 MS는 정말 좋아합니다)
이 구성에 돈이 얼마나 들었나요? TTFT와 초당 출력 토큰 수는 어느 정도인가요? 전기는 얼마나 먹나요?
전체를 정리하는 블로그 글을 쓰고 있는데, 며칠은 더 걸릴 겁니다. 짧게 말씀드리면, 큰 장비는 대략 2만 5천 달러쯤 들었고, TTFT는 프리필 양에 따라 다르지만 보통 몇 초입니다(한 구성은 초당 프리필 2K, 다른 구성은 500 정도). tgs는 하는 일과 현재 컨텍스트에서 추측 디코더가 얼마나 잘 작동하는지에 따라 100~150 안팎이고요. 전기는 꽤 심각합니다. 풀로 돌리면 2500W쯤 되는데, 점잖게 쓰려고 1500W로 제한해 놨습니다. 프런티어 연구소(frontier lab)를 쓰는 것보다 싸지는 않다고 봅니다(적어도 제 생각에는요). 하지만 제게 중요한 건 독립성이고, 그 때문에 추가 비용이 붙어도, 그게 상당한 액수라도 상관없습니다.
님의 방식이 틀렸다는 건 아닙니다만, 제 작업량이라면 그냥 Claude Code 20x Max를 10년(!!!) 치 결제하는 편이 훨씬 합리적입니다.
제 로컬 모델은 절대 거절하지 않습니다. 계정이 정지될 일도 없고요. 보안 작업이나 리버스 엔지니어링을 하고 싶으면 그냥 해 줍니다! 정치 이야기를 하고 싶으면요? 문제없습니다! 의료 자료를 분석시키고 싶으면요? "저는 의사가 아니니 911에 전화하세요" 같은 말을 들을 일이 없습니다. 법률 문서를 살펴보고 싶으면요? 문제없습니다! 클라우드 모델이 거절하는 일은 많습니다! 고급 생물학이나 화학 주제는 도와주지도 않는 경우가 많다고 읽었습니다. 토큰이 떨어질 일도 없고, 5시간 제한도 없습니다. 24시간 내내 돌릴 수 있습니다. 토큰이 바닥나지 않습니다. 서브 에이전트 16개를 동시에, 쉬지 않고 돌릴 수도 있습니다! 한 달에 10억~40억 토큰이요? 문제없습니다! 에이전트 하네스도 원하는 걸 마음대로 쓸 수 있습니다! 제약이 없습니다. 하루 종일 프라이버시가 지켜집니다. 누가 정해 준 게 아니라 제가 직접 쓴 진짜 시스템 프롬프트를 쓰고, 필터도 없습니다. 게다가 온라인에는 대응하는 서비스가 없는 오픈 웨이트 모델도 많습니다. 클라우드 모델이 수학을 잘하게 되기 전 한동안은 수학을 제일 잘하는 모델이 DeepSeekv2 Math였는데 API가 없었습니다. 쓰려면 로컬에서 돌리는 수밖에 없었죠. 오디오 모델, 이미지/영상 모델 등등 온갖 모델이 있고, 구독을 여러 개 할 필요도 없습니다. 아이들까지 포함해 가족용 비공개 UI를 만들 수도 있고요(아이들이 무엇을 추론하는지 제가 지켜볼 수 있습니다). 토큰이 정말 필요한 친구가 있나요? 비공개 VPN으로 접속 권한을 줍니다. 로컬 AI를 쓰는 사람에게 "Claude 수십 년 치를 결제하는 셈이다"라고 말하는 건, 차를 사는 사람에게 "대중교통 수십 년 치를 결제하는 셈이다"라고 말하는 것과 같습니다. 맞는 말이긴 한데, 그래도...
정치적 검열도 없고, 불법적인 일을 했다고 의심되면 경찰에 신고하지도 않습니다. 참고로 그런 일이 실제로 있었습니다.
이제 저도 로컬 LLM 서버를 갖고 싶어졌네요 :( 2만 5천 달러는 너무 큰돈이라서요.
이미 쓰는 컴퓨터가 있다면, 거기에 r9700 하나를 꽂는 게 qwen3.8 27B Q6를 100k+ 컨텍스트로 돌리는 가장 싼 방법 중 하나입니다.
아쉽게도 r9700 가격이 올랐지만 그래도 여전히 제일 싼 길입니다. 저는 오래된 x99 리눅스 데스크톱에 꽂아 쓰는데, 디코드는 50 tps, 프리필은 1000+ tps가 나옵니다.
팁 감사합니다! 홈 서버는 이미 갖춰 놨어요. 다음 AI 관련 구매는 이걸로 해야겠네요. 그래도 여기 유럽에서는 2,600달러라 싸지 않네요 :-/
저는 망설여져서, 사면서 번거롭지 않게 반품할 수 있는 경로로 샀습니다.
제 스택은 로컬 llamacpp ROCM 빌드를 https://github.com/stew675/llama-cpp-rdna-boosts 로 수정해서 씁니다.
공개된 빌드들처럼 전부 이미지에 넣는 대신, 제 컴퓨터의 ROCM을 쓰도록 연결만 해 둔 빌드입니다.
그 빌드를 docker compose로 로컬 머신에 배포합니다. 돌리고 싶은 모델은 도커 볼륨에 저장해 두니까, 같은 빌드를 유지한 채 모델만 쉽게 바꿀 수 있습니다.
제게 가장 큰 단점은 llamacpp로 병렬 처리를 하는 걸로는 충분하지 않다는 점입니다(두 가지를 느리게 하느니 한 가지를 빠르게 하는 쪽을 선호하거든요). vllm은 아직 동작시키지 못했습니다. 그리고 하나를 갖고 나면 계속 두 번째 카드를 생각하게 됩니다...
맞는 말씀입니다. 그럼 이제 반대로 생각해 봅시다. 5년 전으로 돌아가서 제가 '마법이 든 상자'를 2,600달러에 드린다면 사시겠습니까?
정치적 검열이 없다고요? 중국 모델에 대만에 대해 물어보세요.
특정 이념에 대한 검열과 편향이 그런 모델에 이미 심어져 있습니다.
프로그래밍 작업에는 문제가 안 되겠지만, 다른 어떤 작업에는 절대 쓰지 않을 겁니다.
자체 호스팅을 한다는 건, 대만을 독립국으로 설명하지 않는 식의 피상적인 지시를 지워 낸 abliterated 모델을 쓸 수 있다는 뜻입니다.
검열과 편향은 관련은 있지만 같은 말은 아닙니다. 학습 데이터에 정치적 편향이 들어 있으면 그걸 제거하기가 더 어렵다는 데는 동의합니다. 예를 들어 여러 프런티어 모델이 Reddit으로 많이 학습된 건 잘 알려져 있고, 그게 왜 그렇게 심한 좌파 편향이 나타나는지 설명해 줄 가능성이 큽니다.
더 많은 출처입니다.
https://www.gsb.stanford.edu/faculty-research/working-papers/measuring-perceived-slant-large-language-models-through-user (기사: https://news.stanford.edu/stories/2025/05/ai-models-llms-chatgpt-claude-gemini-partisan-bias-research-study )
https://www.tandfonline.com/doi/full/10.1080/29974100.2026.2667948
https://ieeexplore.ieee.org/document/10817610
https://www.washingtonpost.com/technology/interactive/2026/06/24/are-ai-chatbots-like-chatgpt-politically-biased-we-tested-them
https://link.springer.com/article/10.1007/s11127-023-01097-2
이게 티베트에 있다고 말하면 보안 취약점을 넣어 주는 문제 같은 것에도 도움이 되나요? 제가 알기로 이런 건 마지막에 검열 층을 덧붙인 게 아니라 학습 단계에 이미 새겨져 있다고 하던데요.
https://www.crowdstrike.com/en-us/blog/crowdstrike-researchers-identify-hidden-vulnerabilities-ai-coded-software/
도움이 될 수도 있지만 정확한 과학은 아닙니다. 뇌를 건드리는 것과 조금 비슷하죠. 작은 종양 하나를 떼어 내는 수술조차 중요한 신경 경로를 건드릴 수 있습니다. 보통 abliterated 모델은 벤치마크에서 거의 똑같은 성능을 유지하지만, abliteration을 하는 사람이 검열이 어디에 있는지 예상하거나 알고 있어야 합니다. 중국 모델의 검열은 학습 이후에 들어간 것으로 여겨지기 때문에, 근본적인 입력 데이터가 문제는 아닙니다. 모델이 그 데이터를 어떻게 쓰도록 학습됐느냐가 문제입니다. abliteration은 보통 거부 행동을 겨냥합니다. 그 예시는 상당히 개선될 수 있을 것 같지만, 이 부분을 구체적으로 시도한 abliteration은 아직 보지 못했습니다.