요약
딥시크가 자사 서비스에 쓰는 추론 엔진 DeepInfer를 오픈소스로 공개했습니다.
딥시크가 GitHub에 아파치 2.0 라이선스로 내놓은 추론 프레임워크입니다. 실제 서비스를 돌리는 엔진 가운데 오프라인 추론과 대규모 서비스의 핵심 기능을 먼저 풀었고, 지금은 DeepSeek-V4.1-Flash 모델만 지원합니다.
왜 중요한가
- 딥시크가 실제 서비스에 쓰는 엔진이라, 오픈 모델을 직접 서비스하려는 곳이 같은 최적화를 가져다 쓸 수 있습니다.
- 엔비디아 SM100 GPU와 함께 화웨이 Ascend 950 NPU를 지원합니다. 엔비디아가 아닌 칩에서도 같은 엔진을 돌릴 수 있습니다.
핵심 내용
- KV 캐시 시스템, 프리필·디코드 분리(입력 처리와 토큰 생성을 다른 장비에 나누는 방식), 복제본 간 부하 분산은 이번 공개에서 빠졌습니다.
- FlashMLA, DeepGEMM, DeepEP 같은 커널과 직접 만든 TileLang 커널 위에 엔진을 올렸습니다.
- 어텐션 데이터 병렬, 컨텍스트 병렬, MoE(전문가 혼합) 모델의 전문가 병렬을 지원합니다.
- 초안 토큰을 미리 만들어 검증하는 DSpark 디코딩과 배치 크기와 무관하게 같은 결과를 내는 배치 불변 추론을 넣었습니다.
- 처음에는 vLLM을 바탕으로 만들었고 SGLang과 TensorRT-LLM에서도 영감을 받았다고 밝혔습니다.
HN 반응
- 한 이용자가 지후 글을 인용해 클러스터 하나가 하루 155조 토큰을 처리하고 카드당 시간당 38달러를 번다고 전하자, 추론은 이미 남는 장사라는 반응이 이어졌습니다.
- 학습비를 넣으면 여전히 적자라는 지적 속에, 오픈 모델이 모델 판매 사업을 흔든다는 쪽과 최전선 모델은 고가로 남는다는 쪽이 맞섰습니다.
핵폭탄이네요.
"이 프레임워크를 바탕으로 DeepSeek V4.1 Flash의 고처리량, 저지연 대규모 추론 서비스를 구현했습니다. 현재 클러스터 하나의 서비스 처리량은 하루 155조 토큰이며, 전체 수익은 카드 한 장당 시간당 38달러입니다(비혼잡 시간대 요금 기준)."
출처: https://zhuanlan.zhihu.com/p/2095560295930508953
이런 문제를 두고 차갑고 확실한 숫자가 나오니 정말 속이 시원합니다. "AI는 수익이 안 난다, 다들 50센트 벌자고 1달러를 쓰고 있다" 같은 주장이 좀 잦아들면 좋겠네요. GPU로 가득 찬 데이터센터를 보유하는 데 드는 상각 비용은 카드당 시간당 38달러보다 훨씬 적습니다.
거품일 가능성이 없다는 말은 아닙니다. 다만 실제로 이익을 낼 수 있고, 앞으로 지속 가능한 균형점이 생길 수도 있다는 얘기입니다.
주요 업체들이 추론으로는 전체적으로 이익을 낸다는 건 한동안 다들 알고 있었다고 생각합니다. 모든 사용자 계정이 그렇진 않겠지만, 합산하면 그렇다는 거죠.
주요 업체들이 적자인 건 학습과 연구 비용, 그 밖의 간접비를 더한 다음의 얘기입니다.
그래서 오픈소스 모델이 충분히 좋아지면 큰 위협이 되는 겁니다. 단순히 채팅이나 지능을 그대로 제공하는 사업 모델이 무너질 테니까요.
이들 중 몇 곳이 좋은 모델 하나에만 기대지 않고 플랫폼 전체를 파는 쪽으로 다각화하려는 것도 아마 그래서일 겁니다.
가격이 내려갈 수밖에 없다는 증거는 늘 많았습니다. openrouter.ai에서 DeepSeek나 GLM 추론을 20곳 넘는 업체에서 받을 수 있다는 사실만으로도 추론이 수익성이 있고 범용 상품으로 변해 가고 있다는 증거는 이미 충분했어요.
다른 쪽을 믿고 싶어서 현실을 외면하는 사람들은 이번 증거에도 생각을 바꾸지 않을 겁니다.
AI는 결국 범용 상품이 될 겁니다. 그래서 벌써 국가 안보를 구실로 한 보호무역의 첫 움직임이 보이는 거고요. 물론 그쪽 주장에도 일리는 있습니다. 하지만 그 논리는 똑같이 그들 자신에게도 불리하게 작용합니다. 검증하지 않은 모델 출력을 업무 흐름에 끼워 넣는 사람은 사서 고생을 하는 겁니다.
최첨단이 아닌 지능은 범용 상품이 될 겁니다. 최첨단 지능은 마진이 높은 사치재가 될 거고요. 대부분의 시장이 이렇게 돌아갑니다.
어제의 최첨단은 오늘의 범용 상품이니, 최첨단 AI에 손이 닿지 않게 될 것 같지는 않습니다. 컴퓨팅과 태양광 에너지 비용이 계속 떨어지고 있으니, 지금의 AI 공급 부족은 일시적인 현상에 불과합니다. 아마 결국엔 다시 평범한 호황과 불황의 순환으로 돌아가겠죠.
둘 중 하나입니다. 최첨단 AI가 꾸준히 좋아져서 거의 모든 면에서 사람보다 나아지고 아주 이상한 일들이 벌어지기 시작하든가, 아니면 정체기에 접어들어 오픈 웨이트 모델이 결국 따라잡든가요.
세 번째 가능성이 있는데, 제 생각에는 이게 가장 그럴듯합니다. 모델은 특정 분야에서는 계속 좋아지겠지만, 다른 종류의 일에서는 끝내 사람을 따라잡지 못할 겁니다. 누군가 "감각(taste)"이라고 불렀던, 이름 붙일 수 없는 그 잡히지 않는 능력 같은 것 말입니다. 아니면 사람에게 어떤 UX가 가장 직관적인지 아는 것이라든가요. 결국 다른 사람, 나아가 지구상의 생명을 돕기 위해 우리가 공통의 인간성과 인간으로서의 경험을 길어 올려야 하는 모든 일이 그렇습니다. 어차피 지구 위 생명이 꽃피우는 것이 우리가 하는 모든 일의 목적이니(혹은 목적이어야 하니) 이건 무엇보다 중요한 능력입니다.
우리는 수천 년 동안 그 잡히지 않는다는 '감각'을 글, 소리, 이미지, 최근에는 영상으로 기록해 왔습니다. 설령 감각이 없다 해도 그 모든 입력을 바탕으로 꽤 그럴듯하게 흉내 낼 수 있을 거라고 확신합니다.
글쎄요, 그건 감각의 문제처럼 들리는데요. :)
인류가 개발한 모든 기술이 밟아 온 경로는 누구나 알고 있잖아요. 무어의 법칙의 그 놀라운 질주도 마찬가지고요. "이번엔 다르다"고 생각하는 사람도 있겠지만, 과연 그럴까요?
영원히 이어질 필요는 없습니다. 제정신인 사람이라면 영원히 이어질 거라고 생각하지 않아요. 충분히 오래만 이어지면 됩니다. 무어의 법칙이 50년 정도였나요? AI가 지금 속도로 20년만 계속 발전해도, 그 곡선이 평평해질 때쯤 세상은 아주 달라져 있을 겁니다. 지금 우리가 하는 걱정 대부분이 아예 의미 없어질 만큼요.
그 주기는 상당히 짧아졌습니다. 미디어, 집적 회로, 소프트웨어, 제품의 수명만 봐도 알 수 있어요. 최근 석 달 사이에만 굵직한 모델 출시가 너무 많아서 세다가 포기했습니다. 이제는 단계 사이가 몇 주 단위에 가깝습니다.
중국이 쓸 만한 모델 공개를 멈추면 속도가 조금 느려질 수도 있겠지만, 그쪽은 멈추지 않을 이유가 많습니다.
하지만 "전체 인구 중 이 비율의 사람들에게는 최첨단 지능이 필요하다"처럼 고정된 기준이 있는 게 아닙니다.
모델이 좋아질수록 그 비율은 점점 줄어듭니다. 최첨단 모델을 내놓는 데 드는 비용은 점점 커지는데, 다른 모델들이 따라붙으면서 그 비용을 나눠 내는 고객층은 점점 작아지는 거죠.
맞습니다, 바로 그 껄끄러운 부분이고 우리는 이미 그 곡선을 한참 타고 있습니다. 저는 몇 달째 최첨단 모델을 쓰지 않았습니다. 제가 하는 일이 이중 용도라 다음엔 언제 계정이 막힐까 신경 쓸 필요 없이 작은 모델로 충분하니까요. Qwen을 처음 써 봤을 때 "아, 이 정도면 내가 필요한 것의 90%는 되네" 싶었습니다. 그다음 DS4가 95%로 올려놨고, GLM 5.3은 99%에서 100% 사이쯤 됩니다. 물론 저는 노벨상급 문제를 풀려는 게 아닙니다. 하지만 앞으로 남을 고객이 저 같은 사람들이라면, 최첨단 모델 업체들은 앞으로 반년 정도가 그다지 달갑지 않을 겁니다.
그게 바로 핵심입니다. 당신은 GLM 5.3이면 충분하다고 생각하시는 거죠.
하지만 AI에 거는 기대는 소프트웨어 엔지니어링 작업을 100% 빠르게 해 주는 정도가 아닙니다.
예를 들면 당신의 입력과 피드백을 최소한으로만 받으면서 소프트웨어를 처음부터 끝까지 만들어 내는 겁니다.
그다음은 로보틱스와 제조업 생산성 향상입니다. 10%가 아니라 200% 정도로요.
그게 지금의 야심입니다. GLM 5.3이 그걸 할 수 있을까요?
중요한 질문은 Fable 6 같은 모델이 할 수 있느냐, 그리고 경쟁 모델과 얼마나 격차가 있느냐입니다.
오픈 웨이트 모델은 아직 2월의 Mythos조차 넘지 못했습니다.
저는 실제로 로보틱스 일을 하고 있고, GLM 5.3으로 됩니다.
수동 피드백에 대해 말하자면, 저는 그 피드백을 원합니다. 마음먹고 풀어놓으면 알아서도 잘 해내겠지만, 그러면 내부에서 무슨 일이 벌어지는지 저는 전혀 알 수 없게 되니까요.
어느 시점에는 완전히 이해하고 통제하겠다는 생각을 내려놓고 AI에 맡겨야 진짜 생산성 향상을 얻을 수 있습니다.
로보틱스 분야 사정은 저는 모릅니다.
소프트웨어에서는 Opus 5.5가 GPT 5.6 Sol보다 더 많은 걸 감당한다는 걸 압니다. 저는 더 저렴한 DeepSeek Flash를 쓰기보다 그 차이에 기꺼이 돈을 낼 생각입니다.
그러려면 AI가 범죄자에게 은행 계좌 접근 권한을 주거나, 사용자가 제가 돈을 들여 무료로 제공하는 서비스를 무제한으로 쓰게 하거나, 법적 책임으로 저를 파산시킬 만한 일을 하지 않을 거라고 믿을 수 있어야 합니다.
결국 이런 얘기입니다.
"컴퓨터는 책임을 질 수 없으므로, 컴퓨터가 경영상의 결정을 내려서는 안 된다."
이 말이 실제로 뭘 말하는지 보세요. 컴퓨터가 어떤 출력을 만들어 낼 수 없다는 말이 아닙니다. 컴퓨터가 실수했는데 당신이 확인하지 않았다면, 그 부담은 당신이 져야 한다는 말입니다.
정말 멋진 표현이네요. 저는 지금까지 '일은 외주를 줄 수 있어도 책임은 외주를 줄 수 없다'고 말해 왔습니다.
1979년 IBM 사내 교육 문서에 나온 전설적인 문구입니다 [1]
https://simonwillison.net/2025/Feb/3/a-computer-can-never-be-held-accountable/
저는 그런 식으로 하지 않고도 충분한 성과를 내고 있습니다. 게다가 모터가 달린 물건이라면 설계 범위 안에서 제대로 동작하도록 최선을 다해 확인해야 합니다.
구현을 완전히 이해하는 방식으로는 쓸 만한 휴머노이드 로봇을 얻지 못할 겁니다.
구현을 완전히 이해하지 않고도 AI를 활용해 안전하고 쓸모 있는 로봇을 만들 수 없다면, 그 모델은 충분히 좋지 않은 겁니다.
저 두 줄에 깔린 가정이 너무 많아서 어디서부터 얘기해야 할지 모르겠습니다. 행운을 빕니다.
휴머노이드 로봇은 하나의 예시였습니다.
제 주장은, 안전과 법적 책임 때문에 구현을 완전히 이해하지 않은 채로는 AI를 쓸 수 없다면, 그 모델은 충분히 좋지 않다고 볼 수 있다는 것입니다.
아주 오래전에 우리 사회는, 엔지니어가 물리적 설계를 승인하려면 그에 대한 법적 책임을 져야 한다고 정했습니다.
사람이 죽을 수 있는 설계를 모델이 진지하게 받아들이게 할 그런 절차는 존재하지 않습니다.
물리적 설계뿐 아니라 진지한 엔지니어링 작업에는 소프트웨어도 포함됩니다.
우리가 원자력 발전소 제어 소프트웨어를 수동으로 테스트할 때는 테스트 케이스마다 종이에 인쇄해서 테스트한 다음 테스터가 서명했습니다. 소프트웨어 릴리스마다 엄청난 양의 종이가 만들어져 보관되었습니다(그 소프트웨어가 어느 원전에서든 가동되는 동안은 계속 보관했습니다).
원전에서 중대한 사고가 나면 사고 분석이 이루어지고, 근본 원인이 소프트웨어 오류라면 개발자와 테스터가 법적 책임을 질 수도 있다는 걸 모두가 알고 있었습니다. (물론 원전에는 독립적이고 중복된 하드웨어 제어 장치가 많지만, 제어 소프트웨어가 잘못 동작하면 발전소에 막대한 비용이 드는 손상을 입힐 수 있습니다.)
규모가 큰 프로젝트에서는 승인하는 엔지니어가 모든 구현 세부 사항을 이해해야 한다는 요건은 없다고 생각합니다.
요건은 테스트를 거친 뒤 제품이 안전하다고 확신할 수 있어야 한다는 것일 거라고 짐작합니다.
실례지만, 당신은 지금 아는 범위를 벗어났습니다. 다른 주제를 고르시는 게 어떨까요?