요약
미스트랄이 GPU 없이 CPU에서 돌아가는 시계열 예측 모델 Timestral을 네 가지 크기로 공개했습니다.
미스트랄이 처음 내놓은 시계열 파운데이션 모델(여러 데이터로 미리 학습해 새 데이터에 바로 쓰는 범용 모델)입니다. 매개변수 500만~2억 900만 개의 모델 네 종이 같은 구조와 학습법을 쓰며, 수정된 MIT 라이선스로 GitHub와 Hugging Face에 공개됐습니다.
왜 중요한가
- 추가 학습 없이 바로 쓰는(제로샷) 모델 가운데 세 공개 벤치마크의 다섯 지표에서 모두 1위라고 밝혔습니다.
- 크기마다 같은 크기의 공개 모델보다 정확해, 작은 모델로도 몇 배 큰 경쟁 모델을 대신할 수 있다고 주장합니다.
- GPU가 필요 없고 온프레미스나 폐쇄망에도 배포할 수 있어 공장 설비 같은 산업 현장을 겨냥합니다.
핵심 내용
- 2,800만 개 모델이 약 4배 큰 Chronos-2를, 2억 900만 개 모델이 TimesFM-3과 Falcon-2.0을 앞섰다고 했습니다.
- 8스레드 서버 CPU에서 15분 간격 3주치 기록으로 하루 뒤를 예측하는 데 10~140밀리초가 걸립니다.
- 과거 값만 있는 변수와 생산 일정·일기예보처럼 미래 값을 미리 아는 변수를 구분해 넣을 수 있습니다.
- 학습 데이터는 대부분 추세·계절성·잡음을 섞어 만든 합성 데이터이고, 뒤에 실제 데이터를 더해 다듬었습니다.
- 최대 32,768개 시점을 입력받아 21개 분위수로 예측값의 범위까지 내놓습니다.
HN 반응
- ARIMA, 계절 단순 예측, 시계열별 XGBoost가 더 빠르고 정확했다는 실무 경험담이 이어지며 쓸 곳이 어디냐는 의문이 나왔습니다.
- 반면 상품 목록이나 전력 소매처럼 수만 개 시계열을 다룰 때는 하나씩 모델을 만들 필요가 없어 유리하다는 반론이 맞섰습니다.
ChatGPT가 그렇게 커진 건 도메인마다 새 모델을 학습시킬 필요 없이 범용으로 쓸 수 있고, 제로샷 추론/학습 능력이 있기 때문입니다. 이 모델도 규모를 키우거나 쉽게 파인튜닝할 수 있다면, 맞춤형 모델을 만들기 너무 어렵거나 너무 비싼 분야의 예측에 엄청난 영향을 줄 수 있습니다! 다만 저는 조금 회의적입니다. 대형 퀀트 회사들은 이미 이런 모델을 내부에 갖고 있는 건 아닐까요? 아니라면 왜 지금까지 아무도 이런 결과를 내지 못했는지 궁금합니다.
저는 주로 오디오/비전 ML을 하는 사람이라 이 분야 전문 지식은 없습니다. 그래도 모든 "시계열"을 하나의 큰 바구니에 담을 수 있다는 게 이해가 안 됩니다. 제 소박한 이해로는 정확도를 높이는 방법은 최대한 많은 결합 정보를 확보하는 것입니다. 예를 들어 이런 대목이 있습니다.
제 생각에는 이게 예측 품질을 높이는 부가 조건이 아니라 시스템 전체의 토대가 되어야 합니다. 전력 소비량을 모델링한다고 해 봅시다. 직전 샘플 N개짜리 윈도만 갖고 있다면, 시간대와 다가오는 공휴일, 일기예보 같은 걸 아는 비교적 단순한 시스템에 완패할 겁니다.
그리고 이런 시계열 예측 모델이라면 적어도 공변량의 라벨 정도는 정교하게 이해해야 이득을 볼 거라고 생각합니다. 5M짜리 모델은 "bank holiday(은행 휴일)"가 뭔지 모르고, 임의의 클래스 값이 0에서 1로 바뀌는 것만 봅니다. 그 값이 무슨 뜻인지, 다른 정보와 어떻게 연결해야 하는지에 대해 쓸 만한 귀납적 편향이 전혀 없을 겁니다.
예를 들어 전기 요금(€/MWh)은 천연가스 가격(이것도 온갖 지정학적 요인의 영향을 받습니다), 에너지원별 발전 구성 내역, 신규 설비 가동 전망(뉴스와 그 함의를 이해할 수 있는 정교한 LLM이 필요하겠죠) 같은 걸 쓸 수 있을 때 훨씬 정확하게 예측하지 않겠습니까? 변수 2개와 고작 8192개나 32768개 샘플만 되돌아보는 좁은 윈도로 예측해서 어디에 쓰겠다는 건가요?
아니면 제가 사용 사례를 잘못 이해했고, 이건 아주 짧은 시간 단위의 움직임을 위한 걸까요?
어떤 예측은 정확할 필요가 없습니다. 예를 들어 로드 밸런서를 어떻게 확장할지 정하려고 트래픽을 예측한다면, 좀 빗나가도 비용이 조금 더 들 뿐이고 나중에 조정하면 됩니다. 피드백 시스템 중에는 완벽한 정확도가 필요 없는 경우가 많습니다. 주식을 살지 말지 예측하는 데는 이걸 쓰지 않을 겁니다. 이 모델은 기본적으로 기존의 여러 곡선 피팅 도구를 대체합니다. 정말 좋은 예측이 필요하면 당연히 도메인 모델을 만들게 되겠죠. 적어도 제 이해는 그렇습니다...
문제는 이런 곡선 피팅에는 ML이 아예 필요 없다는 겁니다. ARIMA나 Holt-Winters만으로 충분하고 아마 더 빠를 겁니다. 심지어 쿠버네티스 HPA는 PID 전체도 아니고 P만 구현하고 있습니다.
결국 가장 큰 과제는 추론 토큰 비용을 쓸 만큼 정확도가 중요하면서도, 팀을 꾸려 맞춤 모델을 만들 만큼 중요하지는 않은 도메인을 찾는 일일 것 같습니다. 아니면 그 팀이 Timestral 가중치를 가져다 해당 도메인에 맞게 파인튜닝할 수도 있겠지만, 그런 팀이라면 이미 그 문제에 맞춘 다른 모델이 있지 않을까요?
주식 매수 얘기는 동감합니다. 저는 공개된 비트코인 가격 모델 스무 개쯤을 나란히 추적하면서, 각 모델이 자기 예측 기록으로 얼마나 맞았는지 채점하는 사이드 프로젝트를 하고 있습니다. 여기서 얻은 교훈 두 가지는 어떤 시계열 벤치마크에도 적용됩니다. 첫째, 예측은 만든 날 그 시점의 모습 그대로 고정해야 합니다. 나중 데이터로 다시 피팅하면 모든 게 실제보다 좋아 보입니다. 둘째, 단순 기준선(내일은 오늘과 같다)을 같은 표에 넣어야 합니다. 제 목록에서 가장 유명한 모델인 stock-to-flow는 지난 1년간 100% 넘게 빗나갔는데, 백테스트에서는 훌륭해 보였습니다. 그래서 0.03 개선이라는 수치는 지속성 모델(persistence)과 나란히 놓고 보기 전까지는 제게 별 의미가 없습니다.
컨파운딩 컴퍼니(Confounding Company)에서 예측 일을 하는 사람입니다 :)
맞는 말씀입니다. 다만 시계열이 음악처럼 생겼다면 음악 도메인 지식을 적용할 수 있습니다. 모든 도메인에 공통되는 지식만 쓸 필요는 없습니다. 대형 신경망의 묘미 중 하나가 인식과 예측을 동시에 할 수 있다는 점입니다. 학습 과정에서 (통계적으로) 알게 된 것을 이용해 시퀀스가 무엇인지 알아보고, 그다음 그 뒤를 이어 가는 거죠.
물론 외부 정보를 더하면 훨씬 도움이 되겠지만, 데이터가 충분하다면 굳이 필요 없어질 겁니다(이론상으로는 그렇습니다).
그런데 왜 그 데이터를 아예 버리는 거죠? 이건 도메인 특화 오디오/음악/이미지 모델에 비하면 아주 작은 모델이잖아요. 인식에 쓰는 용량은 전부 예측에 쓸 수 있었던 용량이고요.
시퀀스 설명이나 데이터 라벨을 임베딩해서 크로스 어텐션으로 넣는 식의 방법을 안 쓰는 이유가 있나요? 저는 오디오와 이미지 생성 모델을 많이 학습시켜 봤는데, 조건 없는 모델은 항상 조건 있는 모델보다 성능이 떨어지고 학습도 느렸어요(최고 성능은 classifier-free guidance 같은 방식을 쓴 하이브리드에서 나왔고요).
다시 말씀드리지만 시계열 예측 분야를 직접 경험한 적은 없어요. 그래도 자기회귀 생성 모델과 시계열 예측은 공통점이 있을 거라고 생각해요. 둘 다 일정한 간격으로 샘플링된 과거 입력 N개를 보고 다음 샘플을 예측하는 일이니까요.
모델에서 나오는 데이터에 줄 가중치와 본인 데이터에 줄 가중치를 따로 정해 줘야 하지 않나요?
파운데이션 모델이 AutoARIMA 같은 것보다 실제로 더 잘 맞는 사용 사례가 있던가요? 저는 이커머스 예측을 많이 하는데 한 번도 그런 적이 없고, 대부분 seasonal naive가 가장 낫더라고요.
시계열 파운데이션 모델의 실제 사용 사례를 꼭 알고 싶어요!
auto.arima 써서는 벤처 캐피털 투자를 못 받거든요.
바로 그거예요. 사전 정보가 거의 없어도 시계열이 뭔지 이해하는 제로샷 모델이잖아요. 아마 아주 다양한 실제 신호로 학습시켰을 거라고 봐요.
저는 생물학적 시스템의 시계열 예측을 하고 있습니다. 이런 파운데이션 모델은 써 본 적이 없지만, 제 경험상 변수들이 서로 어떻게 연결되는지에 대한 지식은 모델에 어떤 변수를 넣느냐에 이미 담겨 있습니다(원시 데이터뿐 아니라 쓸모 있겠다 싶은 파생값은 얼마든지 만들 수 있으니까요). 하지만 그 변수들이 실제로 어떻게 연결되는지는 모델이 알아내야 합니다(정확히 알았다면 예측 모델을 학습시키지도 않았겠죠).
이 분야를 제대로 아는 분이 더 쉽게 설명해 주시겠지만, 제 인상으로는 이런 시계열 파운데이션 모델은 특정 데이터셋으로 학습시키는 게 아닙니다. 데이터셋을 어떻게 보고 예측하는가 하는 절차를 학습시키는 거죠. 다른 모델 유형보다 유독 모든 걸 한 바구니에 담는 것 같지도 않습니다(다른 모델도 결국 데이터셋을 보는 일관된 절차일 뿐입니다). 분야마다 완전히 다른 모델 유형을 쓰는 것도 아니고요.
HN에는 시계열 파운데이션 모델의 효용을 두고 오해가 많네요.
물론 휴일이나 이벤트 공변량을 넣어서 시계열 하나에 XGBoost 모델을 학습시킬 수는 있습니다. 그런데 예측해야 할 시계열이 1만 개라면요? 시계열마다 모델을 1만 개 학습시킬 수도 있지만, 그러면 각 모델이 배울 이력이 거의 없습니다. 반대로 1만 개를 모두 아우르는 범용 모델 하나를 학습시키면, 시계열마다 피처를 개발하는 부담에 더해 시계열 간 스케일 차이까지 처리해야 합니다. TSFM은 이 시계열들을 하나하나 모델링하는 수고를 크게 덜어 주고, 더 잘 일반화해서 더 정확한 예측을 내놓을 가능성도 있습니다.
하지만 "왜"가 문제입니다. 저는 회사에서 30분마다 모델을 약 40만 개 돌립니다. 다른 접근법을 다 써 봤지만 시계열마다 XGBoost 모델을 두는 방식을 이긴 적이 없습니다. 정확도를 목표로 하지 않더라도, 사전 학습된 모델을 불러와 예측하는 속도는 XGBoost가 여전히 더 빠릅니다.
혹시 정상성(stationary)이 아주 강하고 시간에 따라 동역학이 별로 변하지 않는 시계열인가요?
최신 TSFM은 써 보셨나요? 연구(2025년 것까지)를 보면 특정 상황에서는 XGBoost 모델보다 성능이 좋다고 나옵니다. https://www.sciencedirect.com/science/article/pii/S2666827025001847?via%3Dihub
입력이 어떤 형태인가요? 언어 이해가 들어가서, 시계열마다 그 시계열과 모든 데이터 필드를 자연어로 설명한 글이 같이 들어가나요? 그렇게 구체적인 텍스트까지 받는다면 일반화의 여지가 보입니다. 그냥 아무 설명 없는 숫자 시계열이라면 시계열 간 학습의 여지는 훨씬 적어 보입니다.
그런 걸 가진 사람이 대체 누구죠? 1만 개 시계열을 파악할 수 있는 사람이 있다는 게 상상이 안 되네요.
예를 들어 상품 카탈로그가 있는 모든 기업이 그렇습니다. 상품 하나에 시계열이 여러 개 딸릴 수 있으니까요. 직원이 1만 명인 기업이라면 직원 분석 업무에만 최소 1만 개의 시계열이 생깁니다. 미국에는 직원이 1만 명 넘는 기업이 수백 곳 있습니다. 예측 대상으로 삼을 수 있는 미국 우편번호도 1만 개보다 훨씬 많고요.
죄송합니다, 제 말은 개별 항목 수가 아니라 시계열 데이터의 종류가 1만 가지라는 뜻이었어요. 윗분이 말한 것도 그런 의미라고 생각했어요.
차이가 없습니다. 같은 변수를 나타내는 시계열 1만 개든 서로 다른 변수를 나타내는 시계열 1만 개든, 결국 같은 예측 문제로 환원됩니다. 모든 시계열에 과도하게 일반화해서 꼬리 부분의 정확도를 떨어뜨리거나, 개별 예측마다 모델을 따로 학습시켜서 입력 데이터가 모자란 탓에 전반적인 정확도를 떨어뜨리거나, 둘 중 하나입니다.
저는 에너지 소매업체라서 시계열이 1만 개가 넘습니다.
그래도 먼저 분류를 해서 훨씬 적은 수의 모델만 쓸 수도 있지 않을까요.
TSFM을 쓰면 분류에 시간을 쓰고 시계열 간 교차 검증을 걱정할 이유가 없습니다.
저는 회사에서 30분마다 시계열 40만 개를 예측합니다.
그 규모면 인프라는 어떻게 구성하셨나요? 계산이 가벼운 ARIMA 모델인가요?
저희는 하루에 모델 15만 개를 돌리고 있는데, 30분마다 돌리도록 늘릴 수야 있겠지만 사실상 컴퓨팅을 병렬화하는 데 돈을 쏟아붓는 게 전부일 겁니다.
이 모델들에 대한 '느낌' 같은 건 없나요? 저는 벤치마크는 없지만, 일반 코딩 작업에서 아주 잘한다고 해서 Le Chonk를 써 봤는데 크게 실망했습니다. 온갖 뻔한 실수를 하더군요. opus, sol, deepseek flash 같은 모델에서는 1년 넘게 본 적 없는 종류의 실수였습니다.
저도 방금 Vibe에서 Mistral 4를 써 봤는데 느립니다. 잘 되긴 하는데 너무 느려요. 그래서 다시 Mistral의 GLM5.3으로 돌아갔는데, 이건 정말 훌륭합니다.
수정: 지금 GLM5.3으로 작업 중인데 이것도 느립니다. Mistral 쪽에 부하가 많이 걸린 걸 수도 있겠네요.
참고로 저는 The Forecasting Company 공동창업자가 아닙니다.
저는 Mistral Large 4를 쓰고 있고, 제 친구 몇 명도 그렇습니다.
성능(서비스 속도 말입니다, 품질이 아니라)에 뭔가 문제가 있는 것 같습니다. 어떤 날은 꽤 빠르고, 어떤 날은 멈춘 줄 알고 중단해 버릴 만큼 느립니다.
호스팅 용량을 이리저리 옮기거나 모델에 다른 손을 대고 있는 것 같습니다. 아직 "프리뷰" 버전이라는 점도 알아 두세요. 정식 출시 전까지 계속 추가 학습을 하고 있고, 최적의 호스팅 구성도 아직 찾는 중일 가능성이 높다는 뜻입니다.
정식 출시 전에 모델 품질과 속도 모두 더 바뀌어도 놀랍지 않을 겁니다.
저희는 스택의 모든 계층(모델, 추론, 하네스)을 개선하고 있으니, 앞으로 몇 주 안에 품질과 성능이 나아질 것으로 기대하셔도 됩니다.
(Mistral Vibe PM입니다)