요약
피부과 전문의가 시험해 보니 10년 된 CNN이 프런티어 LLM 두 개보다 피부 병변을 훨씬 잘 맞혔습니다.
영국 가이스 병원의 피부과 전문의 매그너스 린치가 쓴 글입니다. GPT-6 Astra와 Claude Fable 5.1의 피부암 진단이 기대보다 부정확하자, 2015년에 나온 CNN(합성곱 신경망, 이미지 인식에 많이 쓰는 구조)인 Inception v3와 견줘 봤습니다.
왜 중요한가
- 범용 LLM이 모든 일에 가장 좋은 도구는 아니라는 점을 조직검사로 확진된 실제 사례로 보여 줍니다.
- 전문 모델은 H100 한 장으로 20분쯤 미세 조정(이미 학습된 모델을 특정 데이터로 더 학습)하면 만들 수 있고 휴대폰 브라우저에서도 돌아갑니다.
- LLM은 위험한 병변을 잘 놓치지 않지만 양성 병변도 대부분 병원에 가라고 해서 걸러 내는 역할은 못 했습니다.
핵심 내용
- 공개 데이터셋 MILK10k의 병변 200개에서 첫 진단 정확도는 CNN이 62%, 두 LLM이 42%였습니다.
- 더 볼 필요 없이 돌려보내도 되는 양성 병변 100개 중 CNN은 76개를 골랐지만 LLM은 32개와 22개에 그쳤습니다.
- 위험한 병변을 붙잡아 둔 수는 LLM이 97개와 96개였고, CNN도 기준값을 맞추면 98~99개였습니다.
- GPT-6 Astra는 흑색종 30개 중 14개를 기저세포암으로 오진했고, Claude Fable 5.1은 53개 병변을 광선각화증으로 판정했습니다.
- 저자는 표본이 작고 LLM이 이 데이터를 이미 학습했을 수 있으며, 분석에 Claude Code를 썼다는 점을 한계로 밝혔습니다.
HN 반응
- 계산기나 바둑 AI처럼 한 가지 일에 특화된 모델이 범용 모델을 이기는 것은 당연하다는 반응이 많았습니다.
- 같은 아카이브로 학습해 시험 점수만 높였다는 비판에, 시험용 병변을 학습에서 뺀 정상적인 검증이라는 반론이 맞섰습니다.
이게 바로 제가 Jev 같은 결정 모델에 사람들이 왜 열광하는지 잘 이해가 안 되는 이유예요. 규모가 있는 애플리케이션이라면 적합한 아키텍처(신경망, 베이즈 등)로 만든 전용 분류기가 훨씬 정확할 수밖에 없거든요. 게다가 LLM 덕분에 그런 모델을 만드는 비용은 거의 0에 가까워졌고요.
그냥 LLM을 써서, 필요한 일을 실제로 잘하는 물건을 만들면 되잖아요.
Jev 출시는 제가 지금까지 본 AI 시대 마케팅 캠페인 중에 최고였습니다. 실행도 타이밍도 너무 완벽해서 Jev가 하룻밤 사이에 결정 모델의 대명사가 되어 버렸죠.
이걸 보면 얼마나 많은 사람이 LLM만 모든 일에 쓰는 범용 AI 도구로 알고 있었는지 드러난다고 생각합니다. 다른 기술은 생각해 본 적도 없던 사람들에게, 야심 찬 마케팅 캠페인 하나로 더 단순한 기술을 새로운 돌파구라고 내놓을 수 있었던 겁니다.
가장 큰 LLM들이 처음 보는 작업에서 해내는 일은 정말 놀랍습니다. 이건 부정할 수 없이 대단한 일입니다. 하지만 어디서나 반복되는 실수는 LLM이 모든 작업에 최고의 도구라고 생각하는 것입니다. 지금 대부분 개발자의 AI 도구 벨트에는 LLM밖에 없기 때문입니다.
가장 큰 업체들이 바로 그런 식으로 LLM을 마케팅해 왔으니, 전문가가 아닌 사람들이 그렇게 생각하는 것도 당연합니다. 저도 전문가는 아니지만, 소프트웨어 엔지니어이자 기계 번역 연구를 해 본 대학원생으로서 이론은 어느 정도 알고 있고, 지금은 컴퓨팅과 가까운 분야에서 일합니다. 일할 때 LLM을 많이 쓰는데, 개발자용 튜토리얼이나 가이드 중에 LLM을 결정 모델로 쓰라고 권하는 것은 본 적이 없습니다. 내부적으로는 그렇게 쓰이고 있더라도 말이죠. Jev의 발표는 제게 새로운 기능처럼 보였습니다. 그런데 제가 그 소식을 접한 HN의 첫 글에서도, 기억이 맞다면 LLM도 어느 정도는 같은 일을 한다고 지적하는 사람들이 있었어요.
Jev의 마케팅이 그렇게 대단했을 리 없어요. 개발자인 저는 전혀 감흥이 없었거든요. 그냥 구조화된 출력(structured output)이잖아요? 애플리케이션에 LLM을 넣어 본 사람이라면 거의 틀림없이 이미 구조화된 출력을 쓰고 있었을 텐데요. 어쩌면 중국산 오픈 모델 위에 추가 학습을 했을 수도 있지만, 그러면 거의 항상 좋아지기는커녕 나빠집니다. 어떤 분류 작업이든 Jev가 5-5 시리즈 Claude 모델보다 낫다는 건 말이 안 돼요.
"그건 기능이지 제품이 아니다"라는 오래된 격언 그대로예요. Jev는 시스템 프롬프트일 뿐이고 제품이 아닙니다.
LLM이 바로 그 기능이죠. 종이 클립 하나 나르자고 트럭을 쓰지 말고, 일에 맞는 도구를 써야 합니다.
"개발자"를 자처하는 사람들에 대해 아주 좁고 특수한 경험만 갖고 계신 것 같네요.
제가 실제로 아는 개발자 중에는, 자기가 완성해서 자랑할 만한 프로젝트가 아닌 이상 무언가에 대놓고 공개적으로 열광할 사람이 없습니다.
도구는 부차적인 문제입니다. 프로젝트를 거기까지 끌고 가는 게 워낙 어렵다 보니, 입 밖에 내는 것보다 훨씬 많은 도구를 알고 있을 수밖에 없거든요. 기준이 낮은 사람들도 있겠죠. 하지만 저라면 그런 사람들을 "개발자"라고 부르지 않을 겁니다. 특히 이 "AI 시대"에는요.
그쪽이야말로 아는 몇 사람만 보고 아주 좁고 특수한 경험에서 말씀하시는 것 같은데요.
Jev는 발표 직후 하룻밤 만에 여기저기서 화제가 됐습니다. 우리는 일반적으로 무엇이 얼마나 인기 있었느냐를 이야기하는 거지, 같이 일하는 좁고 특수한 집단 안에서의 얘기가 아니잖아요.
앞에서 하신 말씀에는 동의하지만 이건 아니에요. Jev가 "여기저기서" 화제가 된 건 유행을 쫓는 사람들 사이에서였어요. 사실 그건 좁은 집단이라고 생각합니다.
"그쪽도 마찬가지거든요!" :-)
지금이 이 사이클의 막바지라는 건 분명해 보여요. 정말 반가운 일이죠.
Jev 같은 결정 모델의 흥미로운 점은, 큐레이션된 데이터셋을 만들 만큼의 시간을 들일 가치가 없는 일에서도 제로샷으로 싸게 쓸 수 있다는 겁니다.
덤으로, 한동안 써 보다가 마음이 바뀌면 학습 데이터의 시작점이 생기기도 합니다.
LLM으로도 같은 일을 할 수 있어요. 비용과 지연 시간의 문제일 뿐입니다.
예를 들어 저는 이메일에 라벨을 붙이는 데 LLM을 씁니다. 위험이 낮아서 엄청나게 정밀할 필요가 없거든요. 라벨만 붙일 뿐 자동으로 어떤 행동을 하지는 않으니까요. 덕분에 "영수증" 라벨이 붙어야 하는 메일이 뭔지 같은 데이터셋을 직접 큐레이션할 필요도 없습니다.
LLM은 제로샷으로 충분히 괜찮게 그리고 충분히 싸게 해내기 때문에, 제 개인 이메일을 위한 모델을 따로 학습시킬 이유가 없어집니다.
규모를 키우려 한다면 Jev나 비슷한 것이 아마 더 나을 겁니다.
시간을 들여 데이터셋을 큐레이션한다면 전용 분류기가 거의 틀림없이 더 높은 정밀도를 내겠죠.
하지만 값싼 LLM으로 얻는 정밀도를 생각하면, 제게 그게 값어치를 하는 기준선은 꽤 높습니다. 게다가 전용 분류기는 유연성도 떨어지고요.
예컨대 범용 모델을 쓰면 좋은 점 하나는, 새 태그를 추가하는 순간부터 바로 쓰기 시작한다는 겁니다. 폴더 이름이 무슨 뜻인지 한 줄로 설명한 파일에 줄 하나만 추가하면 대개 괜찮은 결과가 나오고요.
그러니 LLM/Jev류와 맞춤형 분류기가 들어설 자리는 둘 다 있습니다.
전용 분류기를 학습시킬 데이터셋을 큐레이션하는 노력이 너무 크다면 Jev류 모델(또는 LLM)을 쓰세요. 그러다 경제성이 노력을 정당화할 만큼 규모가 커지거나, 어차피 데이터셋이 이미 있다면 전용 분류기로 바꾸면 됩니다. (추가: LLM이나 Jev로 시작한다면 데이터를 모아 두세요. 나중에 전용 분류기를 학습시키기로 했을 때 학습 데이터의 좋은 출발점이 됩니다.)
제가 느끼는 흥분의 한 부분은 어떤 기술이 그냥 시대정신의 일부가 되는 순간입니다. 하늘 아래 새로운 것은 없다는 말도 맞고, 동시에 쓸모 있는 기술에 대한 지식이 더 많은 사람에게 퍼지면 훨씬 많은 생산적인 두뇌가 개선 작업에 참여하게 되어 모두에게 득이 된다는 말도 맞을 수 있어요.
저는 그 사람이 놀랐다는 게 놀랍네요.
당연하죠. 파라미터 3천만 개짜리 Katago 네트워크는 플레이아웃 한 번만으로도 바둑에서 인간을 넘어서지만, 파라미터가 1만 배 넘게 많은 최첨단 LLM은 바둑을 별로 잘 두지 못합니다. LLM은 다른 일을 잘하죠(바둑을 잘 두는 네트워크를 만드는 걸 도와주는 일 같은 것 말이에요).
그분이 놀란 건 쓰라린 교훈(bitter lesson)을 오해했기 때문입니다.
쓰라린 교훈이 말하는 건 일반적인 _접근법_이 특정 도메인에 대한 이해보다 낫다는 것입니다.
그렇다고 범용 모델이 도메인 특화 모델보다 낫다는 뜻은 아닙니다.
https://en.wikipedia.org/wiki/Bitter_lesson
이미지 분류에서 CNN은 절대 "구식 아키텍처"가 아니에요.
상당히 많은 용도에서(데이터셋 크기가 받쳐 주는 경우엔) 트랜스포머로 어느 정도 대체되긴 했습니다.
트랜스포머가 모든 용도에서 더 나은가요? 아니면 특정한 일부에서만요? 이건 제게 분류 문제로 들리는데, 신경망은 예전부터 분류를 꽤 잘했잖아요.
대체로 규모의 문제입니다. 학습 데이터가 아주 많을 때 트랜스포머가 더 잘 확장됩니다. (CNN이 확장이 안 된다는 건 아니고, 하이퍼파라미터를 튜닝하기가 훨씬 어렵다는 뜻입니다.)
학습 데이터가 적을 때는 트랜스포머가 CNN보다 뚜렷하게 유리하지 않습니다. 문제가 그리 복잡하지 않거나, 특히 추론 비용에 제약이 있다면 여전히 CNN이 답입니다. 사과 따는 기계에서 사과 수를 세는 작은 엣지 디바이스나 센서를 생각해 보세요.
가끔 보이는 방식은 트랜스포머로 백본을 학습시킨 다음 거기서 더 작은 CNN을 증류하는 것입니다(예를 들면 DinoV3).
다른 소식으로는, 10년 묵은 구식 성냥 한 갑이 2026년 최첨단 고출력 손전등보다 불을 더 잘 붙인다고 합니다.
이건 그냥 벤치맥싱이에요. 벤치맥싱한 모델은 벤치맥싱하지 않은 모델을 언제나 이기지만 취약합니다.
작은 모델을 학습/테스트 분할로 파인튜닝하면 특정 데이터셋은 언제든 이길 수 있어요. 하지만 "야생" 이미지는 도메인 밖이라서 일반화가 잘 안 됩니다.
일반적인 용어는 "벤치마크 테스트 조작"이라고 알고 있습니다.
그리고 인용하신 내용 중에 그와 관련된 건 없습니다. 분류기를 학습하고 테스트하는 평범한 방식이에요.
취약한지 알아보려면 다른 데이터셋으로 테스트해서 민감도와 특이도를 봐야만 합니다.
그래도 "야생" 이미지를 다룰 필요가 없다면, 좁은 도메인에 맞춰 학습한 모델에는 아무 문제가 없어요.
세상에, 테크 브로들이 잘 모르는 분야의 기본 원리를 우연히 마주치고는 완전히 새로운 발견인 양 취급하네요. 자기 방귀 냄새에 취해 과대망상에 빠져 있는 것도 당연하죠.
특정 작업용 작은 모델을 학습시키는 건 그냥 좋은 개발 관행입니다.
그건 그냥 좋은 개발 관행이지 "벤치맥싱"이 아닙니다.
벤치맥싱이란 어떤 모델을 범용적으로 똑똑하다고 내세우면서, 실은 일반적인 정보의 대용물이어야 할 몇몇 벤치마크에 몰래 과적합시킨 것을 말합니다.
특정 작업에 맞춰 작은 모델을 학습시키는 것은 속임수가 없으니 "벤치맥싱"이 아닙니다. 그냥 작업을 위한 모델을 학습시키는 것입니다.
벤치맥싱 맞아요. 이런 이미지 데이터셋은 테스트 분포가 실제 세계의 이미지보다 학습 분포와 훨씬 비슷한 게 보통이거든요. 대부분의 회사에서 실제 AI의 가장 큰 문제는 늘 테스트 데이터와 실제 데이터가 다르거나 점점 벌어질 위험이 있다는 것이었어요.
그러니까 작업을 푸는 게 아니라 같은 테스트 세트를 푸는 겁니다. mnist 같은 간단한 OCR 데이터셋에서 쉽게 확인할 수 있어요. 직접 숫자를 써 보세요. 좋은 아키텍처가 자랑하는 99%보다 정확도가 훨씬 떨어질 겁니다.
오늘 배웠네요. 벤치맥싱, 그러니까 과적합?
우선 첫째로, 벤치맥싱은 잘 정의된 용어가 아닙니다. 과적합을 가리키려고 트위터/레딧 사람들이 지어낸 말이에요.
그건 과적합이 아니라 특정 작업을 위한 학습입니다. 과적합의 척도는 이전에 본 적 없는 데이터에서 얼마나 잘 동작하느냐이고, 그래서 200개의 테스트 이미지를 학습과 검증에서 제외한 겁니다. 그 세트는 연구자들이 모델이 학습 데이터에만 맞게 과적합되지 않았는지 스스로 확인하는 2차 검증 역할을 합니다.
흥미롭네요. 솔직히 오래된 CNN이 최첨단 LLM을 이기는 날이 올 줄은 몰랐습니다. 이 기술 분야는 늘 다음의 더 큰 모델에만 열광하지만, 사실 배우고 최적화할 게 훨씬 많은 것 같네요.
LLM(정확히는 VLM)이 CNN보다 나았던 부분은 위음성을 더 잘 피한다는 점이었습니다(아래 인용 참고). 그런 제2종 오류가 가장 위험합니다. 사람들이 진료를 받지 않게 만들기 때문이에요. LLM은 범용으로, 일반인을 상대하도록 설계되었으니 헤드라인을 뒤집을 수도 있습니다. "특화된 10년 된 CNN은 범용 최첨단 LLM보다 일반인용 도구로는 더 나쁘다." 놀랄 사람은 아무도 없을 겁니다.
그리고 계산기는 곱셈과 나눗셈에서 LLM보다 낫죠...
대중이 LLM을 "만능 상자"라고 믿는 세상에서는, 현실을 한번 확인해 보는 게 늘 좋은 일입니다.
문제는 LLM이 실제로 '만능 상자'라는 겁니다. 범용 컴퓨팅 보조 도구라고 주장할 수 있는 최초의 애플리케이션이죠. 그러면 사람들은 새로 생긴 망치를 쓰기 시작하고, 어느새 모든 게 못으로 보입니다. 특정 문제에 더 나은 해법이 있더라도, 편의성 면에서는 '투자할 것도 배울 것도 없이 10초 안에 답을 얻는다'를 이길 수 없어요. 사람들이 LLM으로 하는 일을 보면 왜 그렇게 안 맞는 도구를 쓰는지 의아하고, 그러다 적절한 도구로 갔을 곳에 어쨌든 얼추 도달하는 걸 보면 놀랍니다. 게다가 시간은 십중팔구 더 적게 걸리고요.
계산자가 표를 밀어냈고, 계산기가 계산자를 밀어냈고, 계산기 자체도 대부분 PC에 밀려났습니다(교육 현장에서는 여전히 쓰이지만, 그 밖에서는 예전만큼 쓰이지 않죠).
LLM은 거의 모든 정보 처리 보조 도구에 대해 그런 일을 합니다.