요약
Ultramarine 1 Flash는 금융·법률 실무 문서를 Claude Fable 5의 60분의 1 비용으로 만든다는 모델입니다.
페이퍼 인스트루먼츠가 10월 14일 공개한 전문 업무용 모델입니다. 공개 모델 GLM-5.3 Flash에 대규모 강화학습(결과에 점수를 주며 행동을 다듬는 학습)을 더해, 고객에게 내놓는 발표 자료와 재무 모델, 메모를 만들게 했습니다.
왜 중요한가
- 채점 기준표(루브릭)만 잘 짜면 정답이 없는 보고서·메모 작업도 강화학습으로 가르칠 수 있다는 사례입니다.
- 값비싼 최상위 모델 대신 작은 공개 모델을 다듬어 실무 문서를 맡기는 길을 보여 줍니다.
핵심 내용
- 내부 벤치마크에서 작업당 0.13달러로 59.3점을 얻어, 8.19달러에 57.8점인 Claude Fable 5를 앞섰다고 했습니다.
- 지식 업무 벤치마크 6개 모두에서 기반 모델보다 평균 4.1점 높았고, 3개에서는 비교 모델 중 1위였습니다.
- APEX-Agents와 DiligenceBench에서는 Gemini 3.8 Flash와 Claude Fable 5에 뒤졌고, 코딩 점수는 기반 모델보다 조금 낮았습니다.
- 학습 과제는 금융·법률·컨설팅·운영 4개 분야의 88개 환경 유형으로 모두 합성해 만들었습니다.
- API 가격은 100만 토큰당 입력 0.15달러, 출력 0.50달러로 기반 모델과 같고, 가중치는 곧 공개한다고 했습니다.
HN 반응
- 결과 표에는 이기는 모델만 넣고 가격 그래프에서만 Claude Opus 5.5 같은 상위 모델을 보여 준다며, 그래프가 오해를 부른다는 비판이 이어졌습니다.
- GLM-5.3 Flash에 겉모습만 입힌 것 아니냐는 의심이 나왔고, 대규모 강화학습이 사실이라면 가벼운 작업은 아니라는 반론도 있었습니다.
무엇을 기반으로 했는지 궁금한 분이 계실까 봐 적어 둡니다. (저는 좋다 나쁘다 판단하지 않습니다. 사후 학습을 얼마나 잘했느냐에 달렸다고 보는데, 그건 제가 알 수 없으니까요.)
좋네요. 저도 지금 지식 업무에 GLM 5.3 flash를 쓰고 있는데, 한번 써 봐야겠어요.
모델 주변에 어떤 도구를 쓰시는지, UI 계층은 뭘 쓰시는지 여쭤봐도 될까요? 비개발자에게 줄 만한 잘 설계된 지식 업무용 하니스(harness)를 계속 찾고 있는데, 마음에 드는 걸 아직 못 찾았거든요. (저는 이런 일에도 그냥 코딩용 하니스를 쓰는데, 개발자가 아닌 사람에게는 영 안 맞아서요.)
안녕하세요, 자기 홍보라 죄송합니다만 저는 지식 업무용 하니스인 Radix라는 도구를 만들고 있습니다. 구독료를 내는 대신 무료로 써 보고 싶으시면 이메일이나 메시지를 주세요.
https://radix-os.com/
도구 자체에 대해서는 말씀드릴 수 없지만, 개인정보 보호 페이지가 인상적이라 칭찬하고 싶었습니다. https://radix-os.com/privacy 구체적인 내용을 짚어 주고(예: “내 맥에서 당신네 폴더는 어디에 있나요?”), 내용도 충실한 데다 일반인이 이해할 수 있게 쓰여 있어요. 훌륭합니다!
와, 제가 본 개인정보 처리방침 중에서 최고 수준이네요. 좋은 지적입니다.
정말 훌륭한 기준이네요!
저는 Deepseek Harness가 정말 마음에 들어요. 별난 구석이 좀 있지만 유연해서 좋고 웹 UI도 탄탄하거든요. 자체 설정 기능도 꽤 괜찮고요.
지난주에 copilot이 Deepseek 모델에서 말썽을 부리기 시작해서 쓰기 시작했습니다. 빠르고 탄탄하고 아키텍처도 마음에 듭니다. 다만 주의하세요. LLM 엔드포인트로 입력 토큰을 아주아주 많이 보내기 때문에, 튼튼하고 저렴한 토큰 캐싱이 필수입니다.
vscode 연동도 꽤 쓸 만합니다. 저는 저장소에서 내려받아 직접 빌드해서 쓰고, PR도 몇 개 올렸습니다.
https://github.com/Jabofish/deepseek-harness-vscode/
저도 Deekseek harness 좋아해요. 깔끔하고 탄탄하고 유연하죠.
(질문받은 사람은 아니지만) 저는 deer flow를 돌립니다: https://github.com/bytedance/deer-flow
여담인데, 저는 괜히 오해를 부르는 그래프가 싫어요. 강점이든 약점이든 있는 그대로 인정하세요.
“Results” 섹션에서는 Ultramarine을 모든 지표에서 자기보다 못한 모델하고만 비교해요. Fable 5.1, GPT-6 Astra, Claude Opus 5.5 같은 모델은 쏙 빼놓고요.
그런데 가격에 초점을 맞춘 “Score against cost per task” 그래프에서는 갑자기 Ultramarine보다 성능이 좋은 모델들이 전부 다시 등장해요. 그 모델들이 더 비싸니까요.
그냥 가끔은 2등이라고 적으세요. 만든 게 인상적이에요. 멍청한 마케팅 담당자가 한심한 수작으로 그걸 가리게 두지 마세요.
맞아요, 저는 이러는 걸 보면 바로 그 모델을 제쳐 버려요. 테스트해 볼 생각조차 안 해요. 통계로 거짓말을 해야 한다면 그 모델은 충분히 좋지 않은 거죠.
맞아요, 전체 그림을 이해할 수 있어야 구매할 마음이 훨씬 더 생겨요. 프런티어 모델만큼 좋지는 않지만 60배 싸다, 이렇게 말해 주면 되잖아요.
정직함과 투명함은 매력적이에요.
벤치마크가 정직하면 더 사고 싶어지실 수는 있겠지만, 오픈AI와 앤트로픽은 몇 년째 벤치마크로 속임수를 써 왔는데도 엄청 팔려요. 구매는 대부분 감정으로 하거든요, 기술 제품이라도요. 그래서 LLM을 마약처럼, 무기처럼 팔고, 안 쓰면 앞으로 굶어 죽는다는 듯이 파는 거고요. 중국이나 유럽 연구소들이 제품을 해로운 방식으로 마케팅하지 않는다는 점은 마음에 들지만, 이건 곁다리 얘기네요.
정직한 플레이어가 채울 수 있는 시장의 빈틈이 있다는 얘기네요.
어차피 다 하찮은 짓이에요. 벤치마크로 모델이 무엇으로 학습됐는지는 어느 정도 알 수 있지만, 말투, 일관성, 답변의 유형, 제약, 돈이 어디로 흘러가는지, 내 작업에서 얼마나 잘하는지 같은 건 설명해 주지 않아요.
LLM 사용은 대부분 도박이에요. 그래서 온갖 반대되는 이유가 있어도 많은 사람이 자기만의 기계 하나에 중독되죠. 제가 만나 본 LLM 사용자 중 가장 제정신이 아닌 축은 여러 모델에 두루 중독돼 있으면서도, 특정 작업에는 감정적인 이유로 2년 전 모델을 계속 쓰는 사람들이에요.
진실은, 99.999%의 사용 사례에서 상위 10개 모델은 어느 정도 서로 바꿔 써도 된다는 거예요. 대체로 원하는 걸 해낼 수 있거나, 아니면 선두 연구소가 광고하더라도 그 용도에는 아무것도 쓰지 말아야 하거나 둘 중 하나죠.
그렇지 않아요. 제품의 실제 품질보다 마케팅 자료의 정직함을 보고 구매를 결정하는 사람은 거의 없어요.
어떻게 60배나 쌀 수 있는지 정말 이해하고 싶어요. 같은 조건에서 비교한 건가요? 가격이 더 가까운, 좀 더 대등한 프런티어 모델은 없나요?
그냥 서식을 다른 곳들과 다르게 쓰기로 한 것 같아요.
보통은 배경 강조색이 벤치마크마다 1등을 나타내는데, 여기서는 더 나은 모델이 있는데도 자기네 열을 강조하기로 한 거죠.
APEX Agents => Claude Fable 5와 Gemini.
랜딩 페이지의 500px이나 되는 분량을 써서 베이스 모델보다 “토큰 효율”이 좋다고 자랑해요. 이 -6.5% 차이를 이번 파인튜닝의 맨 위 대표 기능으로 내세울 만하다는 거겠죠.
그런데 6.5%가 구체적으로 얼마일까요? 여섯 개 벤치마크에 각각 과제가 30개쯤(총 180개) 있고 초당 120토큰으로 돌린다고 치면, GLM-5.3 Flash는 과제당 약 25분이 걸리고 이 “토큰 효율적인 파인튜닝”은 약 23분에 끝나겠죠.
다시 말하지만, 6.5% 차이를 이 파인튜닝에서 가장 영향력 큰 변화로 내세우는데 실제로는 미미한 차이예요. 분명 사람들이 실제보다 대단한 것이라고 오해하게 만들려는 거예요. 그렇지 않았다면 이 랜딩 페이지는 훨씬 현실적이고 자화자찬도 덜했을 거예요.
혼란스럽네요. 이건 컨텍스트 주입 꼼수 몇 가지와 가드레일을 얹은, 껍데기만 바꾼 glm 5.3 - flash 같은데요. 이런 “스타트업”들 대체 무슨 일이죠?
참고로 이들은 glm 5.3을 베이스로 “대규모 강화학습”을 적용했다고 주장해요. 그게 사실이라면 요즘 “스타트업”들이 많이들 하는 것만큼 만만한 일은 아니에요.
지난 10년간 대부분의 스타트업은 오픈소스 제품을 가져다가 그 위에 사업을 세운 거였어요. 이것도 똑같아요.
사기죠, 지금 벌어지고 있는 일은.
이런 모델에는 어떤 하니스를 쓰나요?
오피스 문서를 만들 수 있다고 하는데(제가 제대로 이해했다면), 그건 어떻게 하는 건가요?
“지난 분기 매출 수치로 슬라이드 덱 만들어 줘”라고 말하려면 이걸 무엇에 연결해야 하죠?
__
https://www.paperinstruments.com/feather
트위터 영상을 보면 이게 그건가 싶은데요?
보통은 파이썬을 실행할 수 있는 코드 인터프리터 위주의 하니스를 써서, 소스에서 필요한 데이터를 추출하는 일부터 일반적인 라이브러리로 오피스 문서를 만드는 일까지 전부 처리합니다. 아니면 주요 오피스 파일 형식마다 전용 도구를 추가로 붙여 강화하기도 합니다.
출처: MS Office 제품군과 깊이 통합되는 조직용 “하니스”를 만들고 있습니다. https://github.com/EratoLab/erato
음.
그럼 결국 Hubspot 위젯 같은 채팅창이 중심이라는 얘기네요?
일은 되겠지만, 뭔가 좀 더 신선한 아이디어를 기대했거든요.
주로 ChatGPT 같은 본격적인 채팅 앱입니다. 다만 저희 플랫폼에는 Outlook/Office 애드인도 있어서, 사용자가 작업 중인 이메일이나 문서 옆에 저희 UI가 바로 표시됩니다. 거기서는 애드인 시스템이 제공하는 화면 범위에 대부분 묶여 있습니다. 어느 정도는 사용자의 현재 상호작용(예: 지금 보고 있는 이메일이 무엇인지)을 반영할 수 있어서 이것만으로도 큰 도움이 되지만, 꽤 제약이 되는 다른 한계들도 있습니다.
그래서 크게 두 가지 방식으로 쓰입니다. 하나는 “이 입력을 줄 테니 이 출력을 달라”는 일회성 방식으로, 보통 웹앱에서 합니다. 다른 하나는 사용자가 이미 일하고 있는 애플리케이션 안에서 문서(주로 분량이 큰 것)를 직접 수정하는 좀 더 상호작용적인 방식입니다.
그리고 결국 일을 끝내 주는 건 그쪽입니다. 경쟁 솔루션 중에는 자체 네이티브 편집기를 만드는 데 훨씬 깊이 파고든 곳들도 봤지만, 고급 사용자가 요구하는 충실도에는 늘 못 미치고, 기존 방식에 익숙한 일반 직원들에게도 대개 잘 받아들여지지 않습니다(저희 전형적인 최종 사용자는 대기업 같은 조직 구조의 50대 이상입니다). 그래서 저희는 조직이 있는 그 자리로 찾아가려 합니다.