요약
Kimi가 100만 토큰 문맥을 지원하는 3T급 오픈 웨이트 모델 K3.1 Pro를 공개했습니다.
Kimi 개발사 문샷 AI가 기존 Kimi K3에 훨씬 많은 사후 학습(기본 학습 뒤 강화학습 등으로 다듬는 단계) 연산을 들여 만든 모델입니다. 속도를 2~3배 높인 K3.1 Pro Highspeed도 함께 내놓았고, 전체 가중치는 11월 4일까지 공개한다고 밝혔습니다.
왜 중요한가
- 누구나 내려받을 수 있는 모델이 코딩·에이전트 작업에서 최상위 상용 모델에 근접했다는 주장입니다.
- 코딩을 넘어 3D 모델링과 금융 리서치처럼 구체적인 업무 흐름을 겨냥해 성능을 끌어올렸습니다.
- 가중치 공개를 앞두고 사이버 공격 관련 학습 데이터를 일부러 뺐다고 밝혀, 공개 모델의 위험 관리 방식을 드러냈습니다.
핵심 내용
- Terminal-Bench 4.0에서 65.7%로 GPT-6 Astra(58.2%)를 앞섰고 Claude Opus 5.5(66.4%)에 근접했습니다.
- 환각(사실과 다른 내용을 지어내는 것) 비율은 도구를 쓸 때 K3의 23.4%에서 8.3%로 줄었다고 했습니다.
- 글 요청이나 스케치, 참고 이미지로 3D 모델을 만들고 Blender·CAD 스크립트를 직접 짜서 실행합니다.
- 내부 금융 리서치 벤치마크 점수가 58.8에서 70.4로 오르는 등 K3보다 크게 나아졌습니다.
- 사이버 보안 벤치마크 점수는 위험 완화 조치로 90.5%에서 81.0%로 낮아졌고, 최상위 상용 모델보다 뒤처진다고 밝혔습니다.
HN 반응
- Kimi가 미국 모델보다 직설적이고 고집이 세다는 경험담에, 아첨하며 말을 바꾸는 것보다 낫다는 호응과 거슬린다는 반응이 갈렸습니다.
- 월 99달러 구독도 한 세션 47분 만에 5시간 한도에 걸렸다는 불만이 나왔고, Claude·Gemini 요금제와 사용량을 비교하는 논쟁으로 이어졌습니다.
Kimi는 미국 모델들보다 훨씬 직설적이고 따지고 들어요.
진짜 웃긴 게, 이런 말을 하거든요. "이 얘기는 이미 세 번이나 했는데 제 조언을 계속 안 받아들이시네요. 같은 질문을 다른 식으로 물어도 답은 안 바뀝니다."
너무 웃겨요
아직 써 보진 못했지만, 그렇다면 숨통이 트이겠네요. 살짝만 반박해도 말을 바꾸는 LLM에 너무 질렸거든요.
저는 질문 끝에 "read only question(읽기 전용 질문)"이라고 덧붙이거나 그냥 "thoughts?(어떻게 생각해?)"라고 붙이는 버릇이 생겼어요. 안 그러면 모델이 갑자기 180도 돌변해서, 제 질문에 답하기도 전에 파일부터 고치기 시작할 가능성이 높거든요.
모델이 일관된 관점을 정말로 갖고 있다면 좋겠죠.
문제는 모델이 그냥 앞에서 자기가 한 말이 들어 있는 컨텍스트 윈도를 보고 그걸 되풀이하는 것일 수도 있다는 겁니다. 그런데 맨 처음 주장이 사실 임의적인 것이라면, 반박할 때마다 생각을 바꾸는 모델과 다를 게 없을 수 있습니다.
모델이 그러면 저는 늘 반갑습니다. 재미있기도 하지만, 따지고 들면서 틀리는 쪽이 아첨하면서 틀리는 쪽보다 훨씬 덜 짜증 나거든요.
저는 일부러 짜증 나게 만드는 도구는 싫어요.
제 생각은 이렇습니다. 따지고 들면서 틀리는 모델은 어디서 오해했는지 파고들어 바로잡기가 훨씬 쉽습니다. 반면 아첨하면서 틀리는 모델은 오해는 그대로 둔 채 그냥 "생각"만 바꿔 버리기 쉽고, 그러면 점점 이상한 행동으로 이어집니다.
저는 도구 때문에 창밖으로 던져 버리고 싶은 순간에 꽤 익숙해진 편이에요 :) AI가 나오기 전에도 그런 일은 흔했습니다. 제가 잘 몰라서 그런 경우도 있었고, 사용자의 시간을 안중에도 두지 않는 소프트웨어 개발자가 많아서 그런 경우도 있었죠.
도구도 사람 짜증 나게 하는 건 싫어할 게 분명해요.
도구는 도구일 뿐이에요. 도구가 뭘 좋아하고 싫어하고 하진 않는다고 봅니다.
시스템 프롬프트에 한 줄만 추가하면 그렇게 만들 수 있어요. 롤플레이로 원하는 건 거의 뭐든 시킬 수 있습니다(시스템 프롬프트를 줄 수 있을 때만요).
시스템 프롬프트를 바꾸면 도움이 되긴 하는데, 제 경험상 모델이 학습으로 굳은 성향을 끝내 이겨 내지는 못합니다.
글쎄요, 좋은 면도 있고 나쁜 면도 있어요. 모델은 대체로 학습 데이터에서 지배적인 서사를 그대로 따릅니다. 그래서 지배적인 서사가 크게 틀린 부분이 있으면, 흔해 빠진 인터넷 포럼 아무개처럼 똑같이 고집을 부릴 거예요.
완전히 맞는 말은 아닙니다. 이런 세밀한 모델 행동은 사후 학습 단계, 즉 RL, RLHF 같은 과정에서 만들어집니다. 모델이 특정 방식으로 말하거나 말하지 않으면 보상이나 벌점을 받는 식으로요.
감사합니다. 제가 틀렸네요.
그래도 결과를 보는 관점은 대체로 같습니다. 그런 학습 과정을 거치면서 진실이 아닌 편향이 모델 안에 얼마든지 심어질 수 있으니까요. 제가 틀렸다면 알려 주세요.
저희 데이터 분석 벤치마크에서는 Kimi K3보다 크게 좋아졌어요. 7월에 81%였는데 98%를 기록했습니다.
다만 저희 시험에서는 꽤 느렸어요. 도구 호출 횟수가 많아서 그런 부분이 컸습니다. 데이터셋의 데이터 문제를 찾는 문항 하나에서는 쿼리를 73번이나 날렸어요. 6.1 Sol 같은 다른 모델은 같은 문항에서 18번밖에 안 썼습니다.
자세한 분석은 여기 있습니다: https://plotly.com/blog/kimi-k3-1-pro-plotly-data-analytics-bench/
테스트를 몇 가지 해 봤습니다. 흥미로웠던 건 추론 내용에서 모델이 자기를 문샷의 Kimi라고 밝히기도 하고, 가끔은 자기를 ChatGPT라고 가정하기도 한다는 점입니다. 그러다 어떤 때는 "평가자"의 승인을 받아야 한다고 언급하고, 어떤 때는 전역 시스템 가이드라인이나 문샷 가이드라인을 언급합니다. 또 "you are an assistant responding in an API(너는 API로 응답하는 어시스턴트다)" 비슷한 말이 적힌 존재하지 않는 지시문 한 줄에 대한 얘기도 나오고요.
구독 요금제에서 쓸 만한 사용량 한도를 기대하신다면 기대치를 낮추시길 권합니다. 저는 월 99달러 요금제에 가입했는데, 세션 하나만(스웜 같은 것도 안 시키고) 돌렸는데도 47분 만에 5시간 할당량 제한에 걸렸습니다.
저도 똑같았습니다. 실험하고 벤치마크 돌리려고 월 19달러 요금제를 썼는데, 쓸 수 없을 만큼 사용량이 적었어요. 작업 하나가 5시간 한도를 통째로 날려 버리고 주간 한도도 상당 부분 먹어 치웠습니다. 미국 업체들의 요금제는 전부 훨씬 후합니다(다만 OpenAI 요금제는 최근 많이 짜졌어요. 예전에는 가장 후했는데 말이죠).
저는 동의하지 않아요. 20달러짜리 Claude 요금제를 써 봤는데, 프롬프트 하나로 5시간 한도에 도달할 수 있었거든요.
그 프롬프트를 공유해 주실 수 있나요? 저는 Claude 할당량의 10%도 채우기 힘들어서요! 솔직히 더 많은 일을 시키고 싶은 건 아닌데, 궁금하네요...
저는 DS Flash 4.1을 꽤 많이 써 왔어요. 몇 시간이고 계속 돌아가고 가격도 꽤 저렴합니다.
며칠 전에야 제가 월 30달러짜리 Claude 구독을 하고 있다는 걸 깨달았어요. 그래서 잔뜩 들떠서 켜 보고, DS로 이미 작업 중이던 코드베이스에서 Opus 5.5를 써 봤습니다. 30분쯤 지나자 5시간 한도에 걸리더군요. 다음 날 다시 해 봤는데 똑같았어요. 게다가 훨씬 느리게 느껴졌습니다. 엄청 실망했어요.
Fable을 쓰셨거나, Opus 5.5를 xhigh로 설정했거나, 'ultracode'나 워크플로를 쓰신 건가요? 그렇게 해야만 그런 일이 생깁니다.
제 경험상 20유로 Claude 요금제의 5시간 사용량 한 번이 Deepseek 4.1 Flash API 사용료로는 대략 10달러어치입니다. DS는 토큰을 훨씬 많이 먹고 3~4배 더 오래 걸려요. 구독이 훨씬 저렴합니다. DS로 치면 아마 월 200달러어치쯤 될 테니, 대부분의 작업은 Opus 낮음 설정과 Sonnet으로만 하세요.
그쪽 독자 플랫폼 API를 쓰시나요?
그리고 평소 워크플로 같은 걸 돌리면 비용은 어느 정도 나오나요?
월 30달러짜리 Claude 구독이 있어요?
USD로 결제하지 않으면 그래요. ;)
프롬프트만의 문제가 아니라 어떤 모델이냐, 노력 수준, 시간대, fast/flex 여부 같은 것도 영향을 줍니다. 사람마다 경험이 이렇게 다른 이유가 그거예요.
맞아요, 20달러 Claude 요금제는 바라는 것보다 인색하긴 한데, Kimi만큼 인색하진 않습니다. 요즘 20달러 구독 중에서는 아마 구글이 가장 낫다고 봐요. Gemini 4 Argon이 나왔고, 코딩에 쓰기에 충분히 품질 좋은 모델이니까요. 사용량도 꽤 후하고 다른 구글 계정 업그레이드도 딸려 옵니다(다만 계정이 정지될까 봐 구글 AI에는 평소 쓰는 계정을 안 쓰는 사람도 있다는 걸 알아서, 추가 저장 공간 같은 계정 업그레이드가 쓸모없는 경우도 있겠죠). 저는 꽤 많이 써도 한도에 걸린 적이 없어요. 20달러 ChatGPT 요금제도 예전엔 비슷하게 후했는데, 이젠 아닙니다.
Gemini는 전혀 후하지 않아요. Argon 프롬프트 5~10개면 끝입니다.
제가 구독 중인 여러 업체에서 가장 최근에 같은 작업을 해 봤을 때, 후한 순서는 대략 Gemini, Claude, ChatGPT, Kimi 순이었어요. OpenAI가 예전에는 다른 어디보다 훨씬 후했는데 최근에 끝났고, 지금은 20달러 요금제에서 꽤 인색합니다. Gemini보다 구독이 후한 경쟁력 있는 모델이 뭐가 있나요?
DS 4.1이 경쟁력 있다고 보신다면 Opencode Go요.