요약
딥시크의 DeepSeek V4.1 Flash 1017이 최대 추론 설정에서 같은 급 오픈 웨이트 모델 중 지능 지수 2위에 올랐습니다.
AI 모델 평가 업체 아티피셜 애널리시스가 딥시크의 새 모델을 추론 강도 최대(Max) 설정으로 측정한 결과 페이지입니다. 여러 벤치마크를 묶은 자체 지능 지수에서 45점을 받아, 비슷한 크기의 오픈 웨이트 모델 121개 가운데 2위였습니다.
왜 중요한가
- MIT 라이선스로 가중치가 공개돼 상업적으로 쓸 수 있는 모델이 같은 급 중앙값의 두 배 넘는 점수를 냈습니다.
- 토큰 단가는 낮지만 답변이 길어서, 과제당 비용은 0.26달러로 43개 모델 중 21위에 머물렀습니다.
핵심 내용
- 지능 지수 45점은 같은 급 중앙값 19점을 크게 웃돌며, 전체 706개 모델 중에서는 27위입니다.
- 딥시크 자체 API 기준 출력 속도는 초당 216.5토큰으로, 같은 급 중앙값(77.4토큰)의 세 배 가까이 됩니다.
- 가격은 100만 토큰당 입력 0.30달러, 출력 1.20달러로 같은 급 중앙값보다 쌉니다.
- 지수 측정에 출력 토큰 2억 1천만 개를 써서 중앙값(1억 4천만 개)보다 말이 많은 편입니다.
- 전체 5,520억 개 파라미터 중 토큰마다 160억 개만 쓰는 전문가 혼합(MoE) 구조이고, 컨텍스트 창은 100만 토큰입니다.
HN 반응
- 최대 설정만 측정한 것은 비현실적이라는 지적이 많았고, Max는 토큰을 두 배 가까이 쓰면서 이득은 거의 없다는 경험담도 나왔습니다.
- 이전 버전을 주력으로 쓰던 이용자들은 1017이 더 꼼꼼해졌지만 자체 평가 점수는 비슷하다고 했고, Qwen 3.8 Flash Next가 더 나았다는 사례도 있었습니다.
예전 DeepSeek V4.1 Flash는 지난 한 달 동안 제 주력 모델이었습니다(Qwen 3.8 Flash Next, GLM 5.3 Flash, MiMo 2.6 Flash(MOPD 수정판 포함)와 비교 테스트를 한 뒤였습니다). 수백억 토큰을 돌려 봤고, 어디가 강하고 어디가 약한지 알아내려고 내부 비공개 벤치마크와 제 실제 작업 양쪽에서 꽤 세게 굴려 봤습니다.
아주 빠른 로컬 인프라(200+ tok/s)에서 돌리는 데다 모델이 몰래 바뀔 일이 없다는 점이 보장되니, 일상 작업에서는 대체로 독점 구독 모델보다 이쪽을 선호해 왔습니다. 중간 난이도 작업에서는 비슷한 수준으로 보였거든요(Astra/Opus는 주로 계획과 리뷰용으로 아껴 둡니다).
이전 모델을 1017로 교체했고, 아직 초반이긴 하지만 관찰한 점이 몇 가지 있습니다.
CoT가 확 달라졌습니다. Astra를 많이 증류했다는 주장이 그럴듯해 보입니다.
벤치마크 점수가 높고, 온라인에서 본 바로는 3D 게임 같은 것도 훨씬 잘한다고 하는데, 제 작업과는 별로 상관이 없습니다. 제 내부 평가에서는 토큰 효율은 더 좋아졌지만, 점수 자체는 이전 모델보다 높지 않았습니다.
며칠밖에 안 됐지만 좀 더 집중력 있고 믿음직해진 느낌입니다. DS4 0731과 DS4.1은 약간 덤벙대는 편이었고(신중하지 않다는 뜻입니다. Claude 말버릇에 빠지는 경향도 있었고요), 1017은 좀 더 날카로워 보입니다.
더 까다로운 작업에도 돌려 보고 있는데, 특히 사이버 보안/리버스 엔지니어링/하드웨어 해킹 쪽에서는 GLM이 뛰어났던 만큼, 1017이 GLM-5.3 수준인지는 잘 모르겠습니다.
로컬 인프라에서 200+ tok/s라고요? 대단하네요. 하드웨어에 얼마 쓰셨어요?
저는 이런 로컬 인프라 비용이 정말 어마어마하다고 생각해요. 이런 분들은 본전을 뽑고 있거나, 인프라 하나로 여러 사람의 요청을 처리하면서 비용을 정당화하고 있을 거라고 늘 짐작하죠. 예전에 저도 RAM 48~64GB짜리 노트북을 살까 생각한 적이 있는데(이런 모델이 요구하는 사양에는 근처에도 못 갑니다), 그 돈이면 월 약 $30짜리 API/구독을 몇 년은 쓸 수 있다는 걸 깨달았어요. 그러니 사용량이 엄청나게 많거나, 그게 아니라면 프라이버시와 보안 때문일 거라고 보고, 그렇다면 여유가 되는 사람한테는 그 값어치가 충분하겠죠.
(그 돈이면 월 약 $30짜리 API/구독을 몇 년은 쓸 수 있다는 걸 깨달았어요)
장점은 5시간 제한이나 주간 세션 제한이 더는 없다는 거예요. 그리고 내 독점 코드가 남의 저장소에 흘러 들어갈 일도 없고요.
API 접근에는 5시간 제한이나 주간 제한이 없습니다.
저도 로컬 모델을 돌리지만, 이런 모델 이야기가 나올 때마다 로컬 양자화 버전과 호스팅 버전을 섞어서 이야기합니다. 둘은 같지 않습니다. 중급 소비자용 하드웨어에서 돌릴 수 있는 양자화 버전은 품질이 한 단계 떨어집니다. 용도에 따라 괜찮을 수도 있고 아닐 수도 있지만, 그 점은 인정해야 합니다. DSv4 Flash 같은 모델을 Q8로 돌리려면 정말 비싼 하드웨어 구성이 필요한데, 그 정도면 클라우드 업체를 쓰는 것보다 손익분기도 못 맞춥니다.
로컬로 돌리는 유일한 이유는 모든 걸 로컬에 두기 위해서뿐입니다. 돈을 아낀다는 다른 논의들은 뭔가를 놓치고 있습니다.
저는 여전히 자체 인프라로 돌리는 이유는 프라이버시뿐이고 비용은 절대 아니라고 생각해요.
near.ai가 이 문제를 풀어 보려고 하고 있어요.
그게 바로 제 다음 문장인데요 ㅎㅎ
변수가 돈 하나뿐이라면, 지금 같은 인프라/구독 가격에서는 로컬 모델이 절대 말이 안 되죠.
그런데 많은 사람에게는 다른 변수들이 있잖아요.
앞으로 토큰 가격은 지금 수준을 유지할까요? 내려갈까요? 올라갈까요?
하드웨어 투자는 물론 고정이고, 토큰 비용은 시간에 걸쳐 분할 상각되는 거잖아요.
또 하나 궁금한 건, 앞으로 로컬에서 돌릴 수 있는 모델의 성능이 나아질 거라고 보시나요?
지금까지는 모든 게 계속 하락 추세였으니, 반대 증거가 나오기 전까지는 그 추세가 이어진다고 보겠습니다. 제 생각에 로컬 인프라를 사기 가장 좋은 때는 그 추세가 점근선에 가까워지기 시작할 때일 겁니다.
하방 압력이 워낙 커서 토큰당 가격이 오르는 건 상상이 안 됩니다. 계속 내려왔고 앞으로도 그럴 거예요. 제 생각엔 정체기까지는 아직 한참 멀었습니다.
"내 셋업" 얘기를 하려면 옛날 게시판 시절처럼 하드웨어 사양을 적은 글 하단 서명을 의무로 해야 해요.
증류 모델이어야 하는 거 아닌가요? 제대로 된 데이터센터급 하드웨어 없이 초당 200토큰이 나올 방법이 안 보이는데요.
양자화 모델을 말씀하시는 거죠? 활성 파라미터가 16B밖에 안 돼서 디코딩은 꽤 빠를 수 있어요.
아, 네, 양자화 맞아요. 죄송합니다.
CoT = Chain of Thought(생각의 사슬)입니다(저는 찾아봐야 했어요).
좋은 정보 감사합니다. 본문에 정의를 추가해 주시면 제 댓글은 지우겠습니다.
판단하기엔 너무 이릅니다. 주말 내내 돌려 보면서 Qwen3.8-Flash-Next와 비교했습니다. DSv41F-1017은 FP8, Q3.8FN은 Q8로 돌렸고요. 둘 다 훌륭했지만 놀랍게도 Q3.8FN 쪽 결과가 더 좋았습니다. 복잡한 시스템을 모델링하고 시뮬레이션 코드를 생성하는 작업이었습니다. 출력을 유도하는 입력으로 써야 할 이미지가 잔뜩 있어서 두 모델을 다 썼습니다. 이 모델들은 각자 강점이 있으니, 직접 써 보고 자기한테 맞는 걸 찾는 게 최선이라고 생각합니다. MiMo2.6-Flash는 같은 급이라고 느끼지 못했는데, MiMo2.6-Pro는 괴물입니다.
신기하게도 GPT 6.1 Sol(medium)이 v4.1 Flash 1017(max)보다 작업당 비용도 더 싸고($0.21 대 $0.26) 작업당 시간도 더 빠르네요(2.9분 대 4.9분). AA가 Deepseek의 다른 추론 강도 결과도 추가해 줬으면 좋겠어요. 그래야 다른 모델과 좀 더 현실적으로 비교할 수 있을 테니까요. 제 생각에 max 강도로 모델을 쓰는 건 대부분의 사람에게 전혀 현실적이지 않아요. 성능은 조금 오르는데 시간과 토큰은 엄청나게 잡아먹으니까요.
AA는 자금을 어디서 받고 어떤 곳들과 얽혀 있는지 궁금하네요. 적어도 저울에 손을 약간은 얹고 있다는 느낌이 들어서요.
네, 그게 바로 벤치마크 회사들의 사업 모델 전부죠. AA를 눈여겨보면, 어떤 모델은 출시되자마자 리더보드에 올라오고 어떤 모델은 며칠 뒤에야 올라오는데, 제가 보기엔 AA와 몇몇 연구소 사이에 어느 정도 조율이 있다는 뜻이에요.
https://fixupx.com/aarnogau/status/2076059071246193012
저는 개인적으로 그런 종류의 조율은 신경 쓰이지 않습니다. 그건 아마 평가자들에게 먼저 공개하거나 접근을 주는 걸 텐데, 그 자체가 문제는 아니니까요.
이상해 보이는 건, 어떤 모델은 추론 강도를 위아래로 전부 테스트하는데 이 모델은 (예상대로) 결과가 가장 나쁘게 나올 강도에서만 테스트한 것 같다는 점입니다. 시간이 지나면 더 다뤄 줄까요?
또 어떤 모델이 출시된 직후에 수치(와 상대 순위)가 바뀌는 것도 본 적이 있는데, 누가 1위로 나온 게 마음에 안 들어서 손을 본 것 같은 느낌이었어요.
1017은 잘 모르겠지만, 제 일부 사용 사례에서 0910과 이전 v4-flash-0731로 제한적으로 테스트해 본 바로는, max는 high 대비 이득이 거의 없거나 전혀 없는데 토큰만 훨씬 많이 썼습니다(기억으로는 거의 두 배였어요). 그러니 max를 쓸 이유는 정말 모르겠습니다.
당신의 테스트만이 아니에요. 온라인에서도 그런 주장을 많이 봤어요. 저는 직접 테스트해 본 적은 없지만요.
네, 이건 늘 거슬렸어요. 그래도 미국 모델과 달리 중국 모델은 모든 난이도에서 테스트하기엔 분명 너무 비싸겠죠 ;)
이런 모델에서 제가 정말 알고 싶은 건, 아주 후진 소비자용 하드웨어(RAM 128GB에 2080ti 정도라고 합시다)에서 TPS는 극도로 낮아도 지능은 충분히 쓸 만해서, 자는 동안 돌려 놓고 자리를 떠도 뭔가 제대로 구워져 있을 거라 기대할 수 있느냐는 거예요.
제가 엣지 쪽 흐름을 놓치고 있는 걸 수도 있지만, 제가 말하는 하드웨어 기준에서는 그게 가능하지 않아 보이네요...
"이런 모델"이 뭘 가리키는지는 ds v4.1은 잘 모르겠지만, qwen3.8 flash next는 지금 10GB 3080 + 64GB DDR5 RAM에서 최대 컨텍스트 기준 pp 1200에 40~70 t/s로 쓸 만하게 돌아가고 있어요.
맞아요. 128GB 통합 메모리 머신에 딱 맞는 모델인데 qwen-3.8.-flash-next가 관심을 거의 못 받는 것 같아서 놀랍습니다.
저는 16GB 5060에 시스템 RAM 32GB를 쓰고 있어요. 이 환경에서 돌릴 만한 Qwen 3.8 Flash 모델 중에 추천할 만한 게 있을까요? 지금은 Nemotron 30B A3B를 쓰고 있어요.
32GB RAM에 16GB AMD 7900XTX 환경에서 이 모델로 Strata 프로젝트를 돌려 봤습니다. SSD에서 읽어 오면 20tok/s쯤 나와요. 64GB면 40tok/s가 되지 않을까 싶고요. https://github.com/Niko1221/Strata 품질은 제가 평가할 만큼 빠르지 않아서 판단이 안 됩니다. OpenRouter로 토큰을 좀 써 볼 생각이에요. 그래도 DeepSeek 4 flash는 GPT Sol 6.1에 비하면 엉망이에요.