요약
리퀴드 AI가 텍스트·비전·오디오·옴니·판단 모델을 한 뼈대에 올린 2B급 공개 모델 LFM3를 내놨습니다.
리퀴드 AI가 새 세대 기반 모델 LFM3를 가중치와 함께 공개했습니다. 큰 범용 모델 하나 대신, 기기에서 돌리며 자기 데이터로 미세 조정해 한 가지 일의 전문가로 쓰는 작은 모델을 내세웠습니다.
왜 중요한가
- 리퀴드 AI 비교에서 1.7B 텍스트 모델이 에이전트·도구 호출 평가에서 5배 넘게 큰 Qwen3.5-9B를 앞섰습니다.
- 4비트로 약 1GB에 들어가고 GPU 한 장으로 미세 조정할 수 있어, 데이터를 기기 밖으로 보내지 않는 특화 모델을 만들기 쉬워집니다.
핵심 내용
- 모델 6종은 모두 LFM3-1.7B-Base에서 갈라져 나왔고, 텍스트·비전·오디오·옴니 모델과 판단 모델 2종으로 이뤄졌습니다.
- 코딩과 지식 문제에서는 Qwen3.5-9B 같은 큰 모델이 여전히 앞선다고 밝혔습니다.
- 층 24개를 짧은 합성곱 13개, 슬라이딩 윈도 어텐션(가까운 토큰만 보는 방식) 5개, 전역 어텐션 6개로 섞었습니다.
- LFM3-VL-2B는 처음으로 영상을 입력받고, 62개 비전 평가 평균에서 6배 넘게 큰 Gemma 4 12B와 비슷한 점수를 냈습니다.
- 풍력 발전기 날개 사진 약 3,000장으로 몇 시간 미세 조정하자 결함 분류 정확도가 10% 미만에서 67%로 올랐습니다.
HN 반응
- 이메일 분류나 Home Assistant에 이전 LFM을 쓰던 이용자들이 교체를 기대했고, 빠르지만 가끔 틀려 검증이 필요하다는 사용기도 나왔습니다.
- 시스템 프롬프트 없이 물었는데 추론 과정에 도구 사용 지시가 나온다는 보고에, 리퀴드 직원은 에이전트 데이터를 많이 학습한 탓일 수 있다고 답했습니다.
제가 LFM 2.6을 쓰는 용도 중 하나는 이메일, 문자 메시지, 그 밖의 메타데이터에 주석을 다는 일입니다. 전부 하나의 거대한 데이터베이스로 계속 들어오게 해 두고, 들어오는 대로 RTX A4500에서 주석을 답니다. LFM이 다는 주석은 기본적으로 분류(triage) 단계이고, 그 뒤로 신뢰도가 가장 낮은 것부터 차례로 제 halo 모델(지금은 DeepSeek 4.1 Flash 1017)에 조금씩 넘겨 더 나은 주석으로 바꿉니다. (이후 에이전트가 이 데이터베이스에서 맥락을 검색할 수 있습니다.)
LFM 3로 갈아탈 생각에 설렙니다. 크게 좋아진 것 같습니다. 지금은 LFM 2.6이 데이터 포인트의 40%를 조금 넘는 정도에서 믿을 만한 주석을 만들어 냅니다. LocalAI에 올라오기만 기다리고 있습니다.
자동 메타데이터 보강 부분에서 제가 프로토타이핑하던 것과 비슷한 일을 하고 계시네요. 지금까지는 제 개인 데이터 스트림에 예전의 결정론적 기법과 수작업을 썼는데, LLM과 새로운 ML로 데이터에 효율적으로 주석을 다는 최신 기술이 뭔지 배우려고 하는 중이에요.
흥미로워 보이는데, 비슷한 걸 하는 분이 또 계시면 접근 방법에 대한 팁을 알려 주시면 고맙겠어요. 지금까지는 데모에 작은 RAG 모델을 하나 두거나 아주 작은 qwen 모델을 쓰는 정도로 해 봤어요. 파인튜닝도 흥미로워 보이고요. 미리 생성해 둔 코퍼스에 이진 탐색을 하듯 결정 모델을 여러 층으로 적용하는 것도 충분히 빨라서 도움이 되지 않을까요?
모르겠어요, 선택지가 너무 많네요. 이미 해결된 문제겠죠 ㅋㅋ
확실히 해결된 문제가 아닙니다. 저도 꽤 고생하고 있습니다. 저는 단순한 메타데이터 태깅이나 분류만 원하는 게 아닙니다. 정보 사이의 네트워크를 찾아내고, 주제를 실제 객체로 승격시키고, 쉽게 찾아볼 수 있는 서사를 주기적으로 통합·종합해 주는 걸 원합니다.
gliner2.5를 강력히 추천합니다. 뉴스 기사 태깅에 쓰고 있는데, gpt 6.1이 태깅한 기사 500개로 집에 있는 5090에서 몇 분 만에 파인튜닝했고 아주 훌륭하게 작동합니다. 헤츠너에 CPU로 돌리도록 배포했습니다.
gliner 스타일 모델은 정말 대단해요. 몇 주 전에 동료가 프롬프트로 분류할 수 있게 LFM 인코더를 파인튜닝한 걸 보고 알게 됐어요. 제가 알기로는 파인튜닝할 필요 없이 프롬프트만으로 분류를 시킬 수 있어요. 동료의 데모는 여기 있어요: https://huggingface.co/spaces/LiquidAI/prompt-routing
정말 멋지네요. 이메일과 문자 분류에 GPU가 꼭 필요한지 궁금해요. CPU에서 실행하고 학습시킬 수 있는 오픈소스 대안[0]이 있어서, 직접 호스팅하거나 로컬에서 돌릴 수 있고(자기 데이터로 학습시키면 정확도도 더 올라가고요), 이런 게 쓸 만할까요?
0: http://jeffyclassify.com/
저는 이걸 Qwen 3.8 Flash Next(IQ3_S, strata)와 나란히 "멍청한 정찰병" 모델로 테스트하고 있습니다. 초기 테스트에서 쓸모는 있지만 가끔 부정확해서, 지금은 "멍청하지만 빠른 정찰병, 결과는 검증 필요"라는 라벨을 붙여 뒀습니다.
7900XT(VRAM 20GB, 약 800GB/s IO)에서 전체 컨텍스트로 돌린 결과입니다.
이번 릴리스에 참여했습니다. 로컬 AI와 클라우드 프런티어 모델에 대해 질문이든 이야기든 얼마든지 환영합니다.
추론 과정(reasoning trace)에서 다음 문장이 보입니다.
시스템 프롬프트 없이 "What animal lays the biggest egg?"(어떤 동물이 가장 큰 알을 낳나요?)라고 물었을 때입니다.
툴 사용 RL을 많이 거치면서 모델에 박힌 것이겠죠?
정확히 어떤 모델인가요? 툴도 쓸 수 있는 상태였나요? 툴 사용 RL을 많이 하는 건 맞지만, 추론 과정이 늘 완벽하지는 않다고 생각합니다. 대체로 모델은 틀릴 수 있는 쪽으로도 생각하다가, 그 잘못된 생각의 흐름에서 스스로 빠져나옵니다.
제 로컬에서 llama-serve를 썼는데, 기본으로 현재 시각을 알려 주는 툴과, 브라우저에만 해당하는 별 도움 안 되는 "get_info"를 줬습니다.
전체 요청은 이랬습니다.
툴을 끄면 지침을 언급하는 부분이 사라집니다.
그냥 흥미로워서 눈에 띈 부분입니다.
혹시 추론 과정에 페널티나 정규화를 적용하시나요, 아니면 순수하게 SFT -> RL인가요?
흥미롭습니다. 플레이그라운드에서도, 제 로컬 llama-server에서도 그런 건 보지 못했습니다.
SFT -> RL입니다. 저희 파인튜닝 노트북에서는 보통 롤아웃이 최대 컨텍스트 길이를 넘기면(추론이 너무 길면) 보상을 0으로 주라고 안내하기 때문에 추론을 짧게 하도록 약한 압력은 있지만, 강한 정규화는 없는 것으로 알고 있습니다. 합의된 레시피는 먼저 모델을 더 똑똑하게 만들고(더 긴 추론), 그다음에 더 빠르고 촘촘하게 추론하도록 가르치는 것이라고 생각합니다.
(저는 리퀴드에서 일합니다.) 아마 그럴 겁니다. 블로그에 따르면 사전 학습의 마지막 3.5T 토큰은 에이전트 트레이스와 툴 호출 비중을 높인 미드 트레이닝 단계였고, 텍스트 모델이 에이전트 하네스 안에서 동작하도록 후속 학습되기 때문에 SFT에서도 툴 호출과 에이전트 트레이스를 다뤘습니다. 시스템 프롬프트가 비어 있으면 모델이 자기가 그런 환경에 있다고 가정하는 것 같습니다. 사용 가능한 툴이 없다고 알려 주는 짧은 시스템 프롬프트를 넣어 보시고, 그래도 그러면 Hugging Face 모델 페이지에 남겨 주시면 팀에 도움이 될 겁니다.
라이브 모드가 30초마다 텍스트를 다시 시작한다는 점이 흥미롭네요. 몇 분에 걸쳐 합의될 수 있는 내용에는 어떤 영향을 줄지 궁금합니다. 한 시간짜리 녹음에서 액션 아이템을 뽑고 싶다면 LFM3-Audio-2B로 오디오에서 곧바로 가야 하나요? 아니면 먼저 받아쓴 다음 그 텍스트를 LFM3-1.7B에 넘기는 건가요? 액션 아이템 추출 루틴을 파인튜닝하고 싶다면 라벨링된 예시가 얼마나 필요할 것 같으세요?
모든 건 하드웨어와 처리량 요구 사항에 달려 있습니다. 다음과 같다고 가정해 보겠습니다.
업무용 노트북(M4 Max, RAM 36GB)을 대상으로 만들고 있고
하루 동안의 모든 회의를 받아쓰고 액션 아이템을 만드는 배치 용도입니다.
저라면 ASR(오디오 -> 텍스트 전사)에는 LFM3-Audio-2B를 쓰고, 그다음 LFM3-1.7B로 특정 액션 아이템을 추출해 Linear, Jira, 메모 앱 등 원하는 도구에 추가하겠습니다.
파인튜닝이 가능하다면(라벨링된 샘플 100개 이상과 GPU), 오디오 -> 액션 아이템을 한 단계로 처리하도록 LFM3-Audio-2B를 파인튜닝할 수 있을 가능성이 큽니다.
답변 감사합니다. 한 단계로 된다니 기대됩니다. 전체 시스템과 데이터를 갖춘 뒤에 확인해 보겠습니다. 각 액션 아이템에 대한 타임스탬프와 화자 라벨도 LFM3-Audio-2B가 제공할 수 있을까요? 그런 부분을 학습시키셨나요?
아쉽게도 다중 화자나 화자 분리(diarization) 출력에 강한 오디오 모델은 아닙니다. 앞으로 목표로 삼고 있지만 일정은 없습니다. 하드웨어가 있으시다면 파인튜닝으로 가능할 수도 있다고 생각합니다.
한마디로, 제가 이걸 왜 신경 써야 하죠?
뭐가 멋진 건가요? 뭐가 있어야 "오, 좋은데, 가보자" 싶어지나요?
문서를 대충 훑어본 바로는 "뭔가 특화된 용도" 정도로 보이는데, 그게 무슨 뜻인가요? 그리고 제가 주의력 결핍이 있다고 치면 그게 무슨 뜻인가요?
무엇에 관심이 있느냐에 따라 달라요.
로컬에서 분류나 이미지 처리를 하고 싶다면 d1-2B가 대단하다고 생각해요. 통합 메모리 1GB로 돌아가거든요.
이제 릴리스도 했고 주말에 다시 쉴 수 있게 됐으니, VL-2B 모델과 d1-2B를 가지고 놀면서 프롬프트만으로 이런 작은 레고 로봇 팔을 제어할 수 있는지 볼 생각이에요. https://bricksrl.github.io/ProjectPage/
에이전트에 관심이 있다면 1.7B가 크기에 비해 아주 강력하다고 생각해요. 이메일 분류나 다운로드 폴더 정리 같은 소소한 일을 자동화하는 데 쓸 수 있어요.
SFT/DPO/GRPO로 특정 용도에 맞게 파인튜닝할 수도 있어요. 블로그 글에 풍력 터빈 분류를 위한 파인튜닝 얘기가 나와요. 자동화하고 싶은 일이 있는데 GPT-6-Luna로는 부족하고 더 큰 모델은 너무 비싸다면, LFM3 모델 중 하나를 파인튜닝해서 반복 작업에 로컬로 쓸 수 있어요.
주말이 어딨어요. 다음 8B 작업하러 얼른 돌아오세요.
작게 설계되었으면서도 제대로 기능하도록 만든 모델이에요. 큰 모델을 그냥 줄여 놓았을 때 생기는 문제들(무한 반복 루프, 지능/추론 실패, 툴 호출 실패)이 없다는 거죠. 여러 플랫폼에서 텍스트/오디오/비디오를 처리하는 파인튜닝된 작은 모델이 필요할 때 쓰시면 돼요. (저는 그쪽 직원은 아니고, 제가 이해한 바가 이렇다는 거예요.)
Omni 모델과 텍스트 전용 모델을 둘 다 mlx 버전으로 LM Studio, omlx, rapid mlx에서 써 봤는데, 하나도 모델을 제대로 띄우지 못했어요. 계속 safetensors를 읽을 수 없다고 나오네요. (네, 이런 얘기는 이 스레드가 아니라 Claude한테 해야 한다는 건 알고 있어요.)
mlx-vlm이 Audio 모델과 Omni 모델을 모두 지원할 겁니다. https://github.com/Blaizzy/mlx-vlm/ 그리고 둘 다 네이티브 MLX 내보내기본이 여기 있을 겁니다.
https://huggingface.co/LiquidAI/LFM3-Audio-2B-MLX-8bit
https://huggingface.co/LiquidAI/LFM3-Omni-2B-MLX-8bit
2.6B를 메인 홈 어시스턴트 모델로 써 왔는데 괜찮았어요. A1B라서 더 빠른 Ling 3.0 Tiny로 바꿨고요. 1.7B가 충분히 쓸 만하길 정말 바라고 있어요(2.5 버전은 HA에 쓰기엔 너무 멍청했거든요). 그러면 전부 한 머신에서 돌릴 수 있으니까요.
홈 어시스턴트로 뭘 하시는데요? 시리나 알렉사 같은 범용 모델인가요, 아니면 다른 건가요?
다른 분이 말씀하신 것처럼 Home Assistant를 말한 겁니다. 스마트홈 기기 전체를 총괄하는 오케스트레이터인데, 스마트홈에만 국한되지 않습니다. HA에 캘린더와 위치 공유도 추가할 수 있습니다.
아마 home-assistant.io의 그 Home Assistant 소프트웨어를 말한 걸 거예요.
정말 멋져 보이네요. clicks communicator가 도착하면 거기에 써 보고 싶어요.
미디어텍 NPU가 ONNX를 처리한다고 하니, 거기에 RAM 12GB까지 있으면 이 폰을 미니 에이전트로 만들 수 있을지 궁금해지네요.
글은 아직 안 올라왔지만 모델은 올라와 있어요: https://huggingface.co/collections/LiquidAI/lfm3
제목은 "Introducing LFM3: Every Modality for Specialized Intelligence"(LFM3 소개: 특화된 지능을 위한 모든 모달리티)입니다.