요약
Qwen3.8-27B 모델 5개로 꾸린 팀이 어려운 코딩 문제 10개 중 평균 9.8개를 풀어 Fable 5의 8.0개를 앞섰습니다.
Memdoor는 명령줄 도구 하나로 쓰는 코딩·자동화 에이전트입니다. 이 저장소의 예제 team-solve는 GVS5H(Lee, 2026)의 방법을 코드 없이 YAML 설정 파일 8개로 다시 구현한 것입니다. 모델은 로컬 컴퓨터가 아니라 OpenRouter에서 돌렸습니다.
왜 중요한가
- 역할을 나눈 소형 모델 팀이 Fable 5의 단일 호출 점수를 넘어선 재현 사례입니다.
- 코드 없이 설정 파일만으로 같은 실험을 돌려 볼 수 있고, 문제당 비용은 중앙값 0.39달러입니다.
- 다만 GVS5H 저자들의 100문제 전체 데이터에서는 격차가 92.4 대 90.4로 훨씬 좁습니다.
핵심 내용
- 계획, 아이디어 제시 2개, 풀이, 검토를 맡은 모델이 파일로만 소통하고, 수정 담당이 코드를 고칩니다.
- 통과 여부는 모델이 아니라 공개 예제를 돌리는 스크립트가 판정하고, 점수는 숨겨진 테스트로 매깁니다.
- LiveCodeBench Hard 10문제를 5회 풀었고, GVS5H 하네스(모델 실행·검증 틀)의 9.6과는 동등하다고만 주장합니다.
- Fable 5 점수는 저자들의 파일에서 가져온 문제당 1회 호출 결과이며, 이 환경에서 직접 돌린 것은 아닙니다.
- 문제가 2025년 봄 대회 것이라 모델이 학습 때 이미 봤을 가능성을 배제하지 못합니다.
HN 반응
- 저가 모델 군집을 몇 주간 실험한 이용자는 평가 하나의 점수를 올리기는 쉬워도 일반화는 어렵다고 지적했습니다.
- 공개 모델로도 이미 충분히 일할 수 있다는 의견과, 클라우드 추론이 훨씬 싸서 로컬은 이길 수 없다는 반론이 맞섰습니다.
로컬 모델이 하이퍼스케일러들과 대등하게 경쟁할 수 있도록 지켜내는 게 절실합니다. 저는 언제까지고 그 회사들 변덕에 휘둘리고 싶지 않아요. 앤트로픽이 이제 게임 리버스 엔지니어링까지 막고 나선 걸 보면, 검열의 루비콘강을 건너기 직전이라는 생각이 듭니다.
좋은 점은 지금 나와 있는 로컬 모델이 사라지지는 않는다는 겁니다. 가중치는 이미 공개됐으니까요. Qwen 27b나 deepseek만 해도 벌써 꽤 쓸 만합니다. 하드웨어는 계속 좋아질 테니, 지금의 메모리 위기가 지나가면 더 싸게 돌릴 수 있게 될 겁니다.
물론 상용 모델은 계속 발전할 테고, 앞으로 새 오픈 모델이 나온다는 보장도 없습니다. 하지만 코딩에서는 본인이 경험 많은 개발자라서 모델을 이끌어 줄 수만 있다면, 로컬 모델만으로도 이미 대부분의 용도에 충분합니다.
더 크고 더 좋은 모델은 필요 없습니다. 지금 모델로도 어떤 작업이든 충분합니다.
핵심은 도구 사용입니다.
모델은 고정돼 있지만 도구를 쓰면 시스템에 새로운 정보가 들어옵니다. 그래서 디버거, 테스트, 프로파일러 같은 도구 전체를 효과적으로 쓰고, 코드를 짜서 그것들을 엮고 결과를 종합해 특정 작업에 맞출 수 있을 만큼만 괜찮은 모델이라면, 풀지 못할 문제는 없습니다.
새 모델들은 사용 과정에서 계속 새로운 정보를 흡수하고, 사람들이 이 과정을 돌린 결과를 다시 기반 모델에 집어넣습니다. 그래서 더 효율적이 되고 처음부터 맞게 하는 경우도 늘어나지만, 실제 결과물에서 단계적으로 벌어질 격차는 이제 남아 있지 않습니다.
컴퓨팅과 프로그래밍은 한정된 영역입니다. 정해진 소수의 구성 요소를 무한히 많은 방식으로 조합하는 일이니까요. 이 구성 요소를 조립하는 모델의 자동화 능력과, 무한한 시스템 가운데 무엇을 만들지 고르는 전문가의 지시가 필요하다는 사실 사이의 간극은 어떤 것으로도 메워지지 않습니다.
프런티어 모델은 투자자에게 보여 줄 값비싼 원샷 데모를 계속 만들어 내겠지만, 엔지니어를 대체하는 일은 결코 없을 겁니다.
그래도 최소한 최신 모델은 필요하다고 봅니다. 가중치에는 "파이썬 단위 테스트 드라이버는 어떻게 동작하나", "관용적인 C#은 어떤 모습인가" 같은 온갖 정보가 박혀 있는데, 프레임워크가 발전하면 이런 정보는 자연히 낡아 갑니다. 5년 뒤에도 Qwen 3.8은 2026년의 파이썬을 기준으로 삼고 있을 겁니다.
꼭 그렇진 않습니다. 파인튜닝은 훨씬 낮은 사양의 하드웨어에서 훨씬 작은 데이터셋으로도 할 수 있어요. Qwen 3.8 27B 같은 모델을 중심에 두고 용도별로 LoRA 어댑터를 몇 개 갖춰 두면, 현재 프런티어 모델과 충분히 겨룰 만합니다. 물론 앞으로 나올 프런티어 모델도 계속 좋아지겠지만, 일상적인 용도에 그런 모델이 필요할까요? 저는 아니라는 쪽에 걸겠습니다. 안타깝게도 제 내기는 OpenAI와 앤트로픽이 거는 판돈에 비하면 티끌 같지만요.
이런 사례를 꼭 보고 싶습니다. 로컬 모델을 보강해서 경쟁력을 유지하는 법을 익혀 두면 아주 좋은 기술이 될 것 같아요.
파인튜닝을 무한정 계속할 수 있나요? 잘은 모르지만, 어느 시점이 되면 모델 본래의 능력을 해치기 시작할 것 같은 느낌이 들어서요.
지금의 GPU 하드웨어와 펌웨어에서는 그렇겠죠... 제 안의 냉소가는 미래에 GPU 업체들이 "안전"을 명분으로, 사용자의 "구독 등급"에 맞춰 서명된 가중치만 카드에 올릴 수 있게 만들고 싶어 하는 모습을 상상합니다.
하지만 GPU 업체들에게는 그럴 동기가 별로 없지 않나요? 스스로 고객층을 인위적으로 제한하는 건데요. 물론 업체들과 하이퍼스케일러가 전부 담합해서 시장을 카르텔로 묶는다면 모르지만요!
그래서 하드웨어 업체가 하나 이상 있다는 게 정말 중요합니다. 생태계가 클수록 카르텔을 만들기 어려우니까요. 내가 이런 말을 하게 될 줄은 몰랐지만, 저는 중국이 범용화된 칩과 하드웨어로 돌파구를 열어 주기를 기대하고 있습니다.
GPU 업체들이 완제품을 팔기 시작한다면 얘기가 달라지겠죠? 어차피 잠금 걸린 최종 사용자 기기를 파는 쪽이 훨씬 돈이 되니까요. 주주들이 그걸 요구할 겁니다.
결국 결정하는 건 고객입니다. 팔리지 않으면 주주들도 좋아하지 않아요.
저는 "기업이 사람들에게 원하지도 않는 걸 사도록 강요한다"는 순진한 논리는 믿지 않습니다. 결국 수요가 이깁니다.
그럼 엔시티피케이션(enshittification)이 실재한다는 것도 안 믿으시나요?
망 중립성을 강제하는 게 좋은 일이라는 것도요?
은근슬쩍 돌려 말해서 논증하려는 것 같은데, 저는 무슨 말인지 모르겠습니다.
엔시티피케이션은 가치가 누구에게 전달되는지가 바뀌는 현상이고, 망 중립성으로 무엇을 암시하시려는 건지는 도무지 갈피를 잡을 수 없어요.
댓글에서는 하고 싶은 말을 그냥 직접 하는 게 보통 가장 낫습니다. 암시를 알아챌 만큼 단서나 공유된 맥락이 충분하지 않거든요.
(자유롭고 규제 없는) 시장이 소비자가 정말 원하는 것을 항상 주지는 않는다고 말하고 싶었을 뿐입니다. 수요가 있어도 소비자가 "이기지" 못하는 사례로 두 가지를 든 거고요.
(악의나 꿍꿍이는 전혀 없습니다.)
https://en.wikipedia.org/wiki/Enshittification
https://en.wikipedia.org/wiki/Net_neutrality
그냥 다른 사람들이 원하는 것에 동의하지 않으면서, 왜인지 당신의 바람이 더 중요하다고 믿는 것 같은데요.
평균적인, 혹은 중간쯤 되는 소비자는 원하는 걸 얻을 수도 있겠죠. 하지만 현실에서는 안타깝게도 많은 사람들이 원하는 걸 얻지 못한다는 뜻이기도 합니다. 민주주의에 딸려 있다고 일부 사람들이 생각하는 다수의 횡포와 비슷해요.
사람들이 "enshittification"이라는 말을 만든 데는 이유가 있습니다... 게다가 이 말은 HN에서 꽤 인기가 많으니, 그걸 어떻게 받아들이든 알아서 판단하세요.
맞는 말씀입니다. NVIDIA가 GB202 생산을 전부 소비자용 5090이 아닌 RTX Pro GPU로 돌린다는 추측이 많습니다. 그러니 사용자층을 제한하려는 것이라기보다, 수익을 극대화할 곳에 집중하는 쪽에 가까울 수도 있겠네요.
이런 일은 전에도 겪어 봤습니다. DVD 복제 방지가 그랬죠. 드라이브 업체들이 담합할 동기가 없었다고 주장할 수 있겠지만, 실제로는 담합했습니다.
오픈 모델 호스팅 시장은 이미 크게 형성돼 있고, 그에 따른 인력과 데이터센터 수요도 있습니다. 모델을 배포하고 추론을 확장하는 법을 안다면, 오픈 모델이든 아니든 인기 많은 엔지니어입니다.
지금도 수십억 달러 규모 기업의 서명이나 승인을 받지 않은 소프트웨어를 실행할 수 있는 사람은 극소수에 불과합니다.
게다가 성능 좋은 로컬 모델은 어느 것이든 "사이버 보안 위험"으로, 혹은 로컬에서 돌리기에는 "안전장치"가 부족하다는 식으로 재분류될 수 있습니다.
로컬 모델은 이길 수 없습니다. 게임에서 로컬 GPU가 nvidia geforce now를 이기는 건 네트워크 대역폭과 지연 시간 때문이고, 그 비용도 GPU를 직접 갖는 것과 같은 자릿수 안에 있습니다(그래도 여전히 훨씬 쌉니다).
LLM에서는 전체 응답 생성 시간에 비하면 네트워크 지연이 거의 문제가 되지 않고, GPU가 요청 여러 개를 동시에 처리하면 요청 하나만 처리할 때보다 총 tok/s 처리량이 훨씬 높습니다(GPU를 클라우드에 두는 주된 비용 이점이 그냥 24시간 내내 가동하는 데 있는 게임 스트리밍과는 다릅니다). 합리적인 수준으로 쓴다면 GPU 수명 동안 클라우드 추론이 GPU를 직접 소유하는 것보다 자릿수로 몇 단계는 더 저렴하고, 앞으로도 그럴 겁니다.
로컬 PC는 이길 수 없어요. 생산성용 로컬 소프트웨어가 지금 통하는 건 네트워크 대역폭과 지연 시간 덕분이잖아요.
메인프레임에서는 전체 배치 처리 시간에 비하면 네트워크 지연이 거의 문제가 안 되고, 메인프레임이 요청 여러 개를 동시에 처리하면 요청 하나만 처리할 때보다 총 처리량이 훨씬 높고요.
그 말이 대체로 맞습니다.
대부분의 사람은 화면 보는 시간을 배터리로 돌아가는 스마트폰(말하자면 덤 터미널)에서 보내고, 그 뒤에는 클라우드 서버(말하자면 메인프레임)가 있습니다.
게임, 프로그래밍*, 그 밖의 몇몇 특화된 생산성 도구는 예외입니다. 하지만 그 사용자 전체는 모바일 사용자에 비하면 극히 일부입니다.
*프로그래밍에서도 클라우드 개발 박스를 도입하기 시작한 회사들이 있습니다.
오픈 웨이트 모델은 이미 생산적인 일을 많이 해낼 수 있는 수준에 이르렀습니다. 더 새로운 모델들을 계속 이길 필요까지는 없어요. 물론 더 싸고 빠르게 돌아가면 좋지만, 오픈 모델이 "따라잡아야" 하는 단계는 이미 지났습니다.
맞아요, 저한테는 Qwen 3.8이 많은 작업에서 충분히 쓸 만합니다. 더 빠르기만 했으면 좋겠네요.
그렇죠, 이제는 어떻게 쓰느냐의 문제입니다.
작년에 opus 4.6으로 이미 이 수준에 도달했어요. 그런 업체들이 주는 건 그 위에 올린 훌륭한 프런트엔드이고, 덕분에 사용자가 작업 과정의 더 많은 부분을 모델에 맡길 수 있게 된 거죠.
저는 몇 주 동안 값싼 모델 떼(swarm)로 비싼 모델 하나의 코딩 능력을 따라잡게 하려고 매달렸습니다. 제 결론은 이렇습니다. 평가 하나의 점수를 올리는 하네스는 놀랄 만큼 쉽게 만들 수 있지만, 일반화되는 하네스를 만드는 건 놀랄 만큼 어렵습니다.
일반화되는 하네스를 만들려고 어떤 시도를 하셨고, 어떤 실패를 겪으셨나요?
Qwen이 그렇게 대단하다면 왜 정리 글은 Claude로 썼을까요? 이 글은 필터를 거치지 않은 순수한 Claude 문체입니다. (예: "Ten problems, five passes, not the authors' 100. On a sample this small, 9.8 and 9.6 are the same number. The claim is parity with their harness, not a gain on it." 곧 "문제 10개, 5회 통과이고, 저자들의 100개가 아니다. 표본이 이만큼 작으면 9.8과 9.6은 같은 숫자다. 주장은 그들의 하네스와 동등하다는 것이지, 그 위에서 이득을 봤다는 것이 아니다.")
제목은 LiveCodeBench에 관한 거지, 창작 글쓰기 벤치마크 얘기가 아니잖아요.