요약
미스트랄이 1조 파라미터 멀티모달 모델 Mistral Large 4의 가중치를 공개했습니다.
미스트랄은 공개 프리뷰 뒤 강화학습을 더해 개선한 버전을 내놓으며, 오픈웨이트(가중치를 내려받아 직접 돌릴 수 있는 방식) 모델 중 코딩 성능이 가장 뛰어나다고 밝혔습니다. 이 모델은 유럽 인프라에서 처음부터 학습했습니다.
왜 중요한가
- 유럽에서 학습한 모델이 오픈웨이트 코딩 경쟁의 선두권에 들어섰습니다.
- 일반 기업은 수정과 상업적 이용이 가능하지만, 모델을 서비스로 파는 사업자는 별도 라이선스가 필요합니다.
- 다만 벤치마크 대부분이 자체 또는 파트너 측 결과이고, 기술 보고서는 아직 나오지 않았습니다.
핵심 내용
- 코그니션의 FrontierCode 2.0에서 19.7%로 오픈웨이트 1위를 기록했습니다.
- Artificial Analysis Coding Agent Index는 48%로 GLM-5.3과 사실상 같지만, 작업당 토큰을 평균 47% 적게 씁니다.
- Surge Code의 블라인드 비교에서는 평가 대상 중 Claude Opus 5.5에만 뒤졌습니다.
- API 가격은 100만 토큰당 입력 0.70달러, 출력 2.10달러이고, 가중치는 Hugging Face에서 받을 수 있습니다.
- 악의적 사이버 요청 거부율은 96.6%이지만, 실제 트래픽에서 악용 가능성이 드러나 가드레일(안전 장치)을 수정하고 있습니다.
HN 반응
- 가격을 절반으로 내려 재평가할 만하다는 의견에, 프리뷰 때도 비슷한 가격이 있었고 Opus 5.5보다 뒤처져 여전히 비싸다는 반론이 나왔습니다.
- 일부 이용자는 정상 요청의 거부율이 빠진 96.6%는 의미가 없고, 오픈웨이트의 가드레일은 쉽게 풀린다고 지적했습니다.
가격을 대폭 내렸습니다. 프리뷰 때와 비교하면 거의 절반입니다(입력: 100만 토큰당 $0.7, 출력: 100만 토큰당 $2.1 / 프리뷰는 입력 $1.36, 출력 $4.18).
제 평가에서 원래 가격의 Mistral Large 4 Preview는 경쟁력이 없었습니다. 이 가격대에 성능 개선까지 더해졌다면, 이번 정식 출시는 전면적으로 다시 평가해 볼 만합니다.
[0] https://docs.mistral.ai/inference/pricing
아닌데요. 원래 가격은 더 높았을 수 있지만, 프리뷰 기간에 이미 내렸고 사실 그때는 조금 더 낮았어요(입력 100만 토큰당 $0.68, 출력 $2.09).
개인 프로젝트에 써 왔는데 여전히 너무 비싸고, 생각(thinking)할 때는 아주 느려요. 경쟁력을 갖추려면 미스트랄이 한 세대는 더 나와야 하고, 이미 "내렸다"는 지금 가격에서 한 50%는 더 내려야 한다고 봐요(회사에서는 Opus 5.5를 쓰는데, 이쪽이 이것보다 여전히 훨씬 낫습니다).
방금 확인해 봤는데 말씀이 맞는 것 같습니다. 낮은 가격이 대략 일주일 적용됐고, 그 뒤에 올렸다가 이번에 다시 내렸네요. 정말 이상합니다. 제 테스트는 높은 가격일 때 한 것이었고, AA를 보면 그쪽도 높은 가격이었던 것 같습니다.
토큰 제공 업체들은 전체적으로 보면 항공사와 비슷하게 돌아가니까, 최종 가격 체계도 항공사처럼 될 거예요. 저가 토큰, 우선 탑승 토큰, 창가 좌석 토큰, 막판 할인 토큰, 토큰 마일리지 같은 게 나올 거고요. 당연히 가격도 시간 단위로 오르락내리락하겠죠.
그게 이상한가요? 원가에 이윤을 더하는 방식으로 가격을 매기는데, 모델이 개정될 때마다 원가가 변해 왔을 것 같은데요.
딱히 이상할 건 없다고 생각합니다. 요즘 여러 모델이 출시 때 도입 기념 프로모션 가격을 내걸었다가, 나중에 그 프로모션 가격을 그대로 고정해 버렸습니다.
지금은 모델이 너무 많아서 세부 사항까지 기억하기는 어렵습니다. 제 기억이 맞다면 deepseek v4가 그랬고, gpt 모델 중 하나(5? 5.1? 6?)도 그랬습니다. 구글도 모델 출시 때 프로모션 기간을 몇 번 둔 것이 거의 확실하고, 이 흐름을 시작한 것도 구글이었던 것 같습니다.
맞아요. 미스트랄 4가 나왔을 때 써 봤는데, 솔직히 6개월 전으로 돌아간 기분이었어요. 에이전트가 갑자기 온갖 실수를 하기 시작하는데, 예전엔 에이전트가 툭하면 그런 실수를 했다는 걸 거의 잊고 있었거든요.
좋은 AI 성능에는 금방 익숙해지잖아요. 예전의 성능 낮은 AI로 돌아가면 뒤통수를 맞은 느낌이에요.
EU 안에서만 추론을 처리하길 원하는 분들은, 미스트랄이 리전 추론(Regional Inference)에 10% 세금("추가 요금")을 붙인다는 점을 알아 두셔야 합니다[1].
[1] https://docs.mistral.ai/inference/regional-inference
데이터 보호법이 강력한 관할권의 실질적인 대안이 집에 직접 구축한 장비밖에 없다는 점을 생각하면, 흔히 하는 말처럼 두 배 가격이라도 여전히 싼 편이에요.
모델 크기를 감안하면 아주 공격적인 가격입니다.
학습 피드백을 얻으려고 적자를 감수하며 서비스하는 건 아닐지 궁금합니다(어쩌면 GLM 5.3 서빙에서 나오는 마진을 쓰고 있을 수도 있습니다. GLM 5.3은 모델이 조금 더 작은데 가격은 두 배입니다).
앤트로픽의 S-1을 보면 적자를 보며 모델을 서빙하는 곳은 없습니다. 다만 추론 용량을 장기간 예약해 둔 상태라면, 사용량을 높게 유지하려고 가격을 낮추는 건 충분히 일리가 있습니다.
그건 아직 모릅니다. 앤트로픽은 비용을 학습과 추론으로 나눠서 공개하지 않거든요.
언젠가는 그럴지도 모르겠네요.
"사이버 벤치마크에서는 악의적인 사이버 요청에 대한 평균 거부율이 96.6%로, 우리가 측정한 오픈 모델 중 가장 높습니다."
뻔한 얘기를 하는 것 같아서 뭔가 놓치고 있나 싶은데요. 악의 없는 요청을 거부하지 않는다는 통계는 어디 있나요? random(1000) < 967일 때 거부하게 만들어도 똑같은 수치는 나옵니다.
이런 통계와 안전장치는 사실상 의미가 없습니다. 우회하는 게 너무 쉽기 때문입니다. 모델의 응답이나 사고 과정을 미리 채우거나 수정해서, 가중치를 건드리지 않아도 뭐든지 따르게 만들 수 있습니다. 탈옥이 번거로워서 싫다면 직접 호스팅해서 모델의 검열을 풀고 기본적으로 무엇이든 따르게 만들 수도 있는데, 이건 사실상 한 사람이 주말 프로젝트로 할 수 있는 일입니다.
오픈 웨이트 모델의 가드레일은 보안 쇼일 뿐이고, 모델을 공개한 쪽이 홍보 악몽에 빠질 가능성을 막으려는 용도일 뿐입니다.
예전에 Gemma 4로 이걸 해 봤는데 생각만큼 쉽지 않았어요. 프리필을 길게 넣어도 거부하더라고요.
안타까운 일입니다. 여기서 벌이는 보안 쇼 때문에 모델의 전반적인 사이버 보안 성능이 떨어지거든요. 게다가 검열을 풀면 성능이 또 조금 떨어집니다.
맞아요, 악의에서 문제가 되는 건 의도예요.
해킹 도구를 갖고 있다고 해서 불법을 저지르는 게 아닌 것처럼, 어떤 머신을 공격한다고 해서 꼭 범죄인 것도 아니거든요. 저는 원하면 제 로컬 네트워크를 아주 박살 내놓고 해킹할 수도 있어요.
저 문구는 왠지 "우리 모델은 보안 작업에는 쓸모가 없습니다"라고 외치는 것처럼 들리네요.
맨 끝에 좀 묻혀 있는데요.
https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B
https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B-NVFP4
Unsloth, DavidAU, mradermacher 중 누군가 제 하드웨어에 들어가는 양자화 모델을 내놓으면 꼭 써 볼 겁니다.
그쪽은 양자화 모델을 공개할 수 있도록 출시 당일부터 접근 권한을 받았습니다[0]. 가장 낮은 양자화로도 추론에는 VRAM 256GB가 필요하지만, 이런 강력한 LLM의 요구 사양을 얼마나 줄여 내는지, 그리고 시작하기 쉬운 가이드를 어떻게 만들어 두는지 보면 늘 Unsloth 팀에 감탄하게 됩니다.
[0] https://unsloth.ai/docs/models/mistral-large-4
아, 그럼 제 수준으로는 무리군요 :) 거의 다 왔는데, 32GB만 더 있으면 돌아갈 텐데요.
링크 감사합니다!
5년 된 M1 Pro에 통합 메모리 16GB인 사람은 어느 수준에 속할지 모르겠네요 :)
아, 그건 쉽지 않겠네요. 드라이브는 빠른 편인가요? 그렇다면 활성 파라미터가 3~5B인 MoE 모델을 시도해 보세요. 나머지는 캐시로 쓰고 NVMe에서 가중치를 스트리밍하는 겁니다. 그게 최선일 거예요. '최적화 수준'에 들어가시게 될 겁니다 ;)
https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF
그래도 이걸 일반 소비자용 고급 하드웨어(prosumer)에 들어가게 줄일 방법은 모르겠습니다. 아마 불가능하지 않을까 싶습니다.
네, 맞습니다. 제가 너무 낙관적이었네요. 한 단계 올려야겠습니다.
제가 구성해 둔 장비가 이건데, 이 모델을 돌리기엔 확실히 너무 작습니다.
https://jacquesmattheij.com/local-inference-with-large-language-models/
쓰고 계신 PCIe 스위치/호스트 어댑터의 정확한 모델명을 알려 주실 수 있나요? 알리익스프레스 링크는 늘 좀 모호해서요. 저는 c-payne 스위치로 작업하고 있습니다. https://c-payne.com/products/pcie-gen4-switch-5x-x16-microchip-switchtec-pm40100
그 페이지에는 큰 보드가 두 개 있는데, PCIe 슬롯이 4개인 보드와 5개인 보드입니다. '4' 쪽은 슬롯 간격이 '5'보다 훨씬 넓고(비표준이라 일반 케이스에는 들어가지 않습니다).
"PLX88096 PCIe 4.0 Switch GPU Expansionbackplane 4/5 Slot SFF-8654 SlimSAS"
이것이 페이지에 적힌 설명입니다. 그 C-Payne 스위치는 정말 멋집니다. 아주 훌륭한 하드웨어를 만들어요.
이것도 흥미롭습니다.
https://www.utran.com.tw/product_1701777.html
이 시스템은 비디오 카드 8개(RTX PRO 4000 4장, RTX 4090 2장, RTX 3090 2장)로 구성한 2만 5천 달러짜리 맞춤 제작 장비입니다. 그 가격은 2026년 초에만 통하던 가격이고요.