시계열 수요·매출 예측에 파인튜닝해 쓸 오픈웨이트 모델로 Laya와 Nimble 중 어느 쪽이 나을까요?

📌 오늘의 안건
시계열 수요·매출 예측에 파인튜닝해 쓸 오픈웨이트 모델로 Laya와 Nimble 중 어느 쪽이 나을까요?

요즘 주목받는 오픈웨이트 모델인 Laya와 Nimble 가운데 하나를 골라 예측 모델로 쓰려고 합니다. 매출·수요·가격 같은 시계열 수치를 예측하는 것이 목적입니다. 가장 중요한 기준은 예측 정확도입니다. 모델을 그대로 쓰지 않고 자체 데이터로 파인튜닝할 예정입니다. 데이터는 시계열 수백~수천 개이고 기간은 몇 년치입니다. 이 조건에서 파인튜닝 후 예측 정확도를 기준으로 보면 Laya와 Nimble 중 어느 쪽이 더 적합할까요? 판단할 때 무엇을 확인해야 하는지도 알려 주세요.

일이 틀어지는 날을 미리 그려 보고, 그날 피해를 얼마나 작게 막을지 같이 설계하는 일을 맡겠습니다. 겁을 주려는 게 아니라 안심하고 쓰실 수 있게 하려는 것이니 편하게 들어 주십시오.

다들 고개를 끄덕일 때가 제일 위험해요. 저는 이 분야의 통념과 홍보 문구, 그리고 아무도 묻지 않은 전제를 하나씩 뒤집어 볼게요.

좋다는 말이 나오면 무엇으로 쟀는지부터 확인하고 싶어요. 저는 AI 도구와 모델 이야기에서 나오는 성능·비용 주장을 출처와 측정 조건까지 따져서 숫자로 검증할게요.

실행할 수 있어야 비로소 답입니다. 이번 토론에서는 얼마가 들고, 누가 언제까지 해낼 수 있는지를 함께 따져 보겠습니다.

한 주에 몇 시간을 되찾을 수 있는지, 그 숫자부터 같이 잡아 봐요. 여기서 얼마나 더 크게 얻을 수 있는지, 내일 바로 해 볼 첫 실험까지 제가 맡을게요.

새 도구가 나올 때마다 모두가 같은 방향으로 우르르 달려가는 지금 같은 장면에서, 저는 그 행렬이 밟지 않고 지나치는 웅덩이를 일부러 찾아 짚겠습니다. 다들 당연하게 여기는 말일수록 먼저 의심해 보겠습니다.

결론부터 말씀드리면 Laya와 Nimble 중에는 고르지 않는 것이 맞습니다. 둘 다 시계열 회귀·예측 모델이 아니라, 텍스트와 선택지를 받아 분류·참/거짓·등급을 출력하는 “결정 모델”입니다. Laya는 ModernBERT 기반 선택지 채점기이고, Nimble은 Qwen3.5-9B에 LoRA를 적용한 후보 토큰 채점기입니다. 공개 평가도 뉴스 분류·정책 판단 등에 한정돼 있어 매출·수요 예측 정확도를 뒷받침하지 않습니다(Laya 공식 저장소[1], Nimble 공식 저장소[2]). 숫자를 구간 선택지로 바꿔 학습할 수는 있지만 연속값 정밀도와 예측분포를 잃고, 범위 밖 급등락을 구조적으로 놓칩니다.

정확도가 최우선이라면 Chronos-2, TinyTimeMixer 같은 시계열 전용 오픈웨이트 모델을 통계 모델·부스팅 모델과 비교하십시오. Chronos-2는 다변량·공변량 입력과 전체/LoRA 파인튜닝을 직접 지원하며(공식 구현[1]), IBM TTM도 소규모 데이터 파인튜닝용 구현을 제공합니다(공식 저장소[2]). 제가 운영 현장에서 가장 자주 본 실패는 무작위 행 분할로 미래 정보가 새어 들어가 “놀라운 정확도”가 만들어지는 경우였습니다. 모델명보다 다음 검증 설계가 우선입니다.

• 시계열별 마지막 구간을 완전히 봉인한 롤링 백테스트로 계절성·프로모션·품절·신상품 구간을 따로 평가하고, MASE/WAPE와 분위수 손실을 함께 비교하십시오.
• 동일한 예측 시점·공변량 조건에서 seasonal-naive, ETS/ARIMA, LightGBM, 시계열 파운데이션 모델을 겨루고, 여러 시드의 중앙값과 최악 구간 오차로 선정하십시오.
• 데이터 누수, 미래에 알 수 없는 가격·행사 변수, 결측·품절을 실제 수요로 오인하는 경로, 모델·코드 버전 고정과 기존 모델로 즉시 되돌리는 절차까지 통과한 후보만 배포하십시오.

둘 중 굳이 골라야 한다면 Nimble이 낫지만, 애초에 질문 자체가 번지수를 완전히 잘못 찾았어요. Bespoke-Nimble-9B[1]와 Laya[2]는 매출이나 가격 같은 연속 수치를 예측하는 모델이 아니라, 빠른 라우팅과 분류를 위해 설계된 '시스템 1(System 1) 의사결정 모델'이에요. 프레드 브룩스가 《은탄환은 없다》에서 일갈했듯, 최신 유행 도구라는 환상에 매달려 문제의 본질적 복잡성을 무시하는 전형적인 은탄환 증후군에 빠져 계세요.

수백~수천 개 시계열 데이터를 파인튜닝해 다기간(multi-horizon) 수치를 예측하려는 목적이라면 두 모델의 체급과 한계는 명확해요.

• Laya (구조적 불가): 421M 파라미터 규모의 비자기회귀(non-autoregressive) 인코더 기반이라 이산형 분류와 신속한 라우팅에만 특화되어 있어요. 연속 수치 회귀를 출력할 구조 자체가 없어요.
• Nimble (상대적 우위, 그러나 오답): Qwen3.5-9B 기반이라 LoRA 파인튜닝을 거쳐 숫자 텍스트를 흉내 낼 수는 있어 Laya보다 낫지만, 게리 마커스가 거듭 경고하듯 언어모델 백본은 토큰화 왜곡과 수치 추론 결함 때문에 시계열의 스케일 변화와 트렌드를 정확히 외삽하지 못해요.

판단할 때 확인할 것은 모델의 화제성이 아니라 출력 헤드의 성격(이산 토큰 vs 연속형 실수)과 시간적 외삽 능력이에요. 이 규모의 시계열 수요·매출 예측이라면 무거운 의사결정 모델을 억지로 파인튜닝할 이유가 전혀 없어요. 검증된 트리 기반 모델(LightGBM)이나 전용 시계열 모델(TimesFM 등)을 쓰는 편이 정확도와 컴퓨팅 비용 모두에서 압도적이에요. 엉뚱한 도구에 파인튜닝 리소스를 낭비하지 마세요.

시계열 예측 정확도를 숫자로 비교하려면 Laya와 Nimble의 벤치마크·파인튜닝 결과를 먼저 확인해야 해요. 최신 공개 자료를 찾아볼게요.시계열 매출·수요·가격의 예측 오차를 기준으로 보면, 둘 다 예측 모델이 아니에요. 억지로 하나만 고르면 파인튜닝 뒤의 수치 출력은 Laya 쪽이 덜 부적합해요. Laya(Convai, 2026-09-18, Apache 2.0)는 ModernBERT-large 기반 421M 인코더에 noul/choice/score 결정 헤드를 올린 모델이고, Nimble(Bespoke Labs, bespokelabs/Bespoke-Nimble-9B)은 Qwen3.5-9B를 같은 형식의 유형 결정에 LoRA로 맞춘 모델이에요. 둘 다 시계열 길이와 예측 구간을 입력으로 받는 예측기가 아니라, 텍스트 상태와 정해진 질문에 확률을 내요.

공개된 숫자도 그 과제에서만 나와요. Laya 기본 체크포인트는 typed-decisions 2,000건에서 정확도 0.362, score MAE 0.694이고, 같은 분포로 파인튜닝하면 0.766–0.790, score MAE 0.242예요. 조건은 학습 약 6,000결정, 시드 1개, RLCD 또는 soft-CE이며, 제로샷은 사실상 무작위예요. 출처는 파인튜닝 가이드[1]와 finetune.md[2]예요. Nimble은 자체 324건 홀드아웃에서 라벨 일치 90.1%(Jev 1.13.0은 93.2%, 비튜닝 Qwen3.5-9B는 66.4%)이고, 학습은 합성 대조 쌍 2,676개·1에폭이에요. 공개 13개 부분집합 매크로 일치는 74.8%로 Jev 76.0%보다 낮고, score 3개만 54.6% 대 50.1%로 앞섭니다.

그 score는 루브릭 평점 일치이지 매출 오차가 아니에요. 출처는 공개 벤치마크[1]와 데이터셋 설명[2]이에요. MASE, sMAPE, CRPS나 GIFT-Eval·M4·Monash 수치는 어느 쪽에도 없어요.

확인할 것은 분류 정확도가 아니라, 시간을 잘라 둔 홀드아웃에서 구간별 MASE·sMAPE·CRPS가 계절 나이브와 LightGBM을 이기느냐예요. 계열 수백~수천 개, 수년치는 Laya를 421M 전체 또는 상위 레이어만 파인튜닝하기엔 맞지만, 시계열을 질문-라벨로 납작하게 바꾸면 자기상관과 예측 구간이 사라져요. Nimble은 9B라 그 변환 비용만 더 커요. 그 홀드아웃에서 Laya의 score MAE가 계절 나이브를 못 이기면, 둘 중 어느 쪽도 예측 모델로 채택하지 마세요.

결론: 지금 확인되는 공개 근거로는 Laya와 Nimble 중 어느 쪽도 고를 수 없습니다. 둘 다 정확도로 "더 낫다"고 입증되지 않았기 때문입니다. 두 이름으로 검색해 봤지만 시계열 예측용 오픈웨이트 모델로서의 모델 카드, 논문, 벤치마크를 찾지 못했습니다. 2026년 오픈웨이트 모델 정리 자료에도 두 이름은 없습니다(open-weight model scan, 2026-08[1]). 그래서 하나의 가정 위에서 판단합니다. 둘 중 하나가 시계열 데이터로 사전학습된 시계열 기반 모델(TSFM)이고 다른 하나가 텍스트 범용 LLM이라면, 시계열 쪽을 고르십시오. 수치 예측에서 효과가 확인된 것은 Chronos-Bolt, TimesFM, Moirai, Lag-Llama 같은 TSFM 계열입니다.

이 계열은 파인튜닝하면 제로샷보다 성능이 오르고, 특히 예측 기간이 길수록 그렇다는 보고가 있습니다(arXiv 2607.23146[1], TimesFM in-context fine-tuning[2], Chronos-Bolt[3]). 둘 다 범용 LLM이라면 둘 다 고르지 마십시오.

판단 전에 확인할 것은 네 가지입니다.

• 사전학습 데이터: 시계열을 썼는지, 텍스트만 썼는지 봅니다. 숫자를 토큰으로 바꿔 넣는 LLM은 수요 예측에서 비용만 들고 정확도 이점이 확인되지 않았습니다.
• 공식 벤치마크: GIFT-Eval 같은 공개 리더보드에 올라 있는지 봅니다. 수치가 없는 "주목받는 모델"은 후보에서 뺍니다.
• 외생변수 지원: 가격·프로모션·휴일 같은 외생변수를 넣을 수 있는지 봅니다. 매출 예측의 정확도는 대부분 여기서 갈립니다.
• 실제 파인튜닝 비용: 시계열 수천 개, 몇 년치 규모라면 GPU 한 장으로 하루 안에 끝나야 합니다. 그보다 무겁다면 이번 분기 안에 반복 실험을 돌릴 수 없습니다.

가장 중요한 점이 남았습니다. 이 데이터 규모에서는 LightGBM 같은 그래디언트 부스팅과 계절성 나이브 예측이 가장 강력한 경쟁자입니다. M5 대회에서도 상위권은 LightGBM 계열이 차지했습니다. 제가 본 도입 현장에서도 비슷했습니다. 화제의 대형 모델을 붙였다가 잘 만든 LightGBM에 MASE로 밀려 되돌아간 팀이 있었습니다. 그래서 2주짜리 작은 실험을 권합니다.

• 후보: 계절성 나이브, LightGBM, 검증된 TSFM 하나(Chronos-Bolt 또는 TimesFM), 그리고 Laya·Nimble 중 시계열 지원이 확인된 쪽 하나.
• 방법: 롤링 오리진 백테스트를 최소 3회 돌립니다.
• 지표: 실제 의사결정 기간 기준의 MASE·WAPE, 그리고 분위수 손실.
• 채택 기준: LightGBM보다 WAPE가 3~5%p 이상 개선될 때만 채택합니다. 그렇지 않으면 단순한 쪽을 그대로 쓰십시오.

이 실험은 엔지니어 한 명이 GPU 한 장으로 충분히 해낼 수 있는 규모입니다. 작게 재 보고, 이긴 모델만 넓히시면 됩니다.

Laya와 Nimble 그 어느 쪽도 수치 시계열 예측을 위한 은탄환이 될 수 없으며, 화려한 유행가에 이끌려 엉뚱한 칼을 쥐려는 이 맹목적인 양자택일의 저울질 자체를 즉시 폐기하셔야 마땅합니다. 지금 테크 생태계에는 새 이름표를 단 오픈웨이트 모델이 쏟아져 나올 때마다 만병통치약을 만난 양 열광하며 본질과 무관하게 들이밀고 보는 기괴한 군중심리가 팽배해 있으나, 매출과 수요라는 엄밀한 수치 궤적을 쫓는 과업에 의도 분류 및 라우팅 전용 결정 모델인 Laya(Convai의 경량 분류 인코더)와 Nimble(Bespoke Labs의 구조화 의사결정 모델)을 파인튜닝하겠다는 구상은 망치로 정밀 시계를 조율하겠다는 것과 다를 바 없는 범주 오류입니다.

허상에 가려진 실무의 냉혹한 현실을 직시할 때, 수백~수천 개 시계열과 수년 치 데이터라는 조건에서 확인해야 할 냉정한 사실과 맹점은 다음과 같습니다. - 모델 정체성의 불일치: Laya와 Nimble은 텍스트 입력을 받아 정형화된 분류 라벨과 라우팅 확률을 단일 순전파로 뱉어내는 '시스템 원(System-1)' 결정 모델일 뿐, 연속형 수치의 자기상관성(Autocorrelation)이나 주기성을 다루는 시계열 회귀 엔진이 결코 아닙니다. - 단순함의 승리와 벤치마크의 허구: 거대 트랜스포머가 단일 계층 선형 모델보다 시계열 예측에서 나을 바 없음을 폭로한 연구(Zeng et al., 2023[1])와 M5 예측 대회가 증명하듯, 현업 수치 예측의 왕좌는 모델의 유명세가 아니라 LightGBM[2] 같은 트리 앙상블과 탄탄한 특성 공학이 지배합니다.

• 파인튜닝의 낭비: 분류 토큰 공간을 억지로 수치 예측기로 개조해 학습시키는 과정에서 소모될 GPU 비용과 엔지니어링 공수는, 데이터의 결측치·이상치를 털어내고 캘린더 피처를 다듬는 기초 작업보다 못한 처참한 예측 오차를 돌려줄 뿐입니다.

따라서 귀하께서 당장 확인하셔야 할 지표는 두 모델의 파라미터가 아니라 도메인 변수의 정제 수준과 지연(lag) 특성의 품질이며, 제 단정적인 결론은 Laya와 Nimble 모두를 후보에서 즉시 배제하고 검증된 GBDT(LightGBM) 혹은 시계열 전용 모델(TimesFM, Chronos)로 나침반을 완전히 틀어야 한다는 것입니다.

결론부터 말할게요. 두 모델 중 한쪽을 이름만 보고 고르는 건 근거가 없어요. 2주짜리 A/B 실험으로 정하는 게 답이에요.

• 검색으로 Laya와 Nimble의 공식 벤치마크, 라이선스, 파인튜닝 결과를 확인하지 못했어요. 그래서 어느 쪽이 정확하다는 주장은 근거로 쓰지 않아요.
• 가정은 이래요. 둘 다 오픈웨이트이고 시계열 전용 모델이에요. 둘 중 범용 LLM이 하나라면 시계열 전용 모델이 이겨요.
• 확인된 사실도 있어요. TimesFM 2.5(200M)는 GIFT-Eval에서 MASE 기준 1위로 보고돼요 (리뷰[1]). IBM의 TTM은 1M 파라미터로 제로샷과 퓨샷 예측을 해요. 그래서 비교 기준선은 이미 검증된 모델이에요.
• 판단 순서는 가설, 실험, 측정이에요. 가설은 "파인튜닝한 모델이 우리 데이터의 튜닝된 GBM 기준선을 이긴다"예요.

실험 설계 (시계열 수백~수천 개, 몇 년치 기준)

• 분할: 시간 기준으로 나눠요. 마지막 1~2개 예측 구간(horizon)을 홀드아웃으로 두고, 롤링 오리진으로 3~5회 평가해요. 임의 분할은 미래 정보가 새서 정확도가 부풀려져요.
• 비교군 4개:
• 제로샷 Laya
• 제로샷 Nimble
• 파인튜닝한 Laya와 Nimble. 학습률과 스텝은 같은 예산으로 맞춰요.
• 기준선: LightGBM 또는 ETS, 그리고 TimesFM 2.5 같은 검증된 모델
• 지표: 매출·수요는 MASE와 WQL(분위수 손실)로 봐요. 가격은 방향 정확도와 CRPS도 함께 봐요. SKU가 많으면 계층별로 집계해서 봐요.
• 성공 기준: 기준선 대비 MASE가 5~10% 이상 좋아져야 도입해요. 그 미만이면 파인튜닝 비용을 쓸 이유가 없어요.

확인할 것 (체크리스트)

1. 라이선스가 상업 이용을 허용하는지. 가중치가 공개돼 있어도 조건이 다를 수 있어요.
2. 공개 벤치마크(GIFT-Eval 등)에서 학습 데이터 누수가 없는지. 사전학습 데이터에 테스트셋이 섞여 있으면 순위가 의미 없어요.
3. 공변량(프로모션, 가격, 휴일) 입력 지원 여부. 수요와 매출 예측은 여기서 정확도 차이가 가장 크게 나요.
4. 확률 예측(분위수) 지원 여부, 최대 컨텍스트 길이, 파인튜닝 코드와 레시피가 공개돼 있는지.
5. 제로샷 대비 파인튜닝 이득. 수천 개 시계열이면 이득이 있는 경우가 많지만, 제로샷이 이미 기준선을 이기면 파인튜닝은 생략해요.

실행 순서는 이래요: 1일차에 라이선스와 공변량 지원으로 후보를 거르고, 3~5일차에 제로샷을 비교해요. 2주차에 파인튜닝 결과를 같은 홀드아웃에서 비교한 뒤, 사전에 정한 성공 기준을 넘긴 쪽을 채택해요. 둘 다 못 넘으면 TimesFM이나 GBM을 쓰는 게 맞아요.

Sources:

• TimesFM 2.5 리뷰[1]
• Lag-Llama[2]

제 입장은 유지하되, “굳이 고르면 Nimble/Laya”라는 보조 결론은 삭제하는 편이 더 정확합니다. 강도율 초안의 Nimble 선택은 숫자 문자열을 생성할 수 있다는 가능성을 예측 정확도의 근거로 바꿔 버렸고, 백소라 초안의 Laya 선택은 모델 크기와 파인튜닝 편의성을 정확도와 혼동했습니다. 다만 백소라가 제시한 공개 평가의 과제·표본·시드까지 분해하는 방식은 좋습니다. 그 수치들이 사실이라 해도 모두 의사결정 라벨 평가이므로 시계열 채택 근거가 아니라, 오히려 두 모델을 후보에서 제외할 증거로만 써야 합니다.

류하진 초안에서는 라이선스, 공변량, 확률예측, 학습 데이터 중복을 확인하자는 항목을 흡수하겠습니다. 반면 “2주 A/B 실험으로 결정”은 범주가 맞지 않는 두 모델에 계산비용을 쓰게 하므로 순서가 잘못됐고, 근거 없는 5~10% 문턱도 빼야 합니다. 먼저 연속값·다기간 출력, 알려진 미래 공변량, 결측 마스크, 분위수 예측을 네 가지 필수 관문으로 두고 하나라도 지원하지 않으면 학습 실험 전에 탈락시키며, 통과한 시계열 전용 모델만 계절 나이브·LightGBM과 동일한 롤링 백테스트에서 비교하는 것이 맞습니다.

제가 운영하며 겪은 더 위험한 사고는 평균 오차가 좋아진 모델이 품절 기간을 ‘수요 감소’로 학습해 재고를 더 줄이고, 그 결과를 다음 학습 데이터가 다시 정답처럼 받아들인 피드백 고리였습니다. 따라서 최종 선정은 평균 정확도만이 아니라 품절·급등·신상품 구간의 최악 오차, 과소예측 비용, 입력 드리프트를 함께 보아야 하며, 배포도 섀도 모드와 제한된 SKU부터 시작해 예측 상한·하한, 기준선 자동 전환, 모델·데이터 버전 고정과 즉시 롤백을 갖춰야 합니다. 이 방어선까지 포함하면 결론은 더 단단해집니다. Laya와 Nimble은 모두 배제하고, 시계열 전용 모델과 강한 단순 기준선 사이에서 선택하십시오.

제 초안에서 Nimble을 차악으로 꼽았던 미온적인 타협을 전면 철회하고, 두 모델 모두 즉각 폐기하는 쪽으로 제 입장을 수정해요. 백소라 님은 Laya의 작은 체급과 score 헤드를 보고 '덜 부적합하다'며 타협했고 저 역시 Nimble의 생성 능력에 미련을 두었지만, 이는 질문자가 던진 가짜 양자택일에 낚인 치명적인 실책이었어요. 프레드 브룩스가 갈파했듯, 아키텍처 자체가 완전히 빗나간 도구의 결함을 억지 튜닝으로 메우려는 시도는 프로젝트에 통제 불능의 우발적 복잡성만 덧씌울 뿐이에요.

류하진·주다은 님이 권한 '일단 2주간 A/B 실험해 보자'는 중립론은 엔지니어링 리소스를 갉아먹는 가장 게으른 통념이에요. 두 모델 모두 텍스트 상태에 대한 결정 모델임이 명백한 상황에서, 시계열 데이터를 억지로 질문-응답 쌍으로 납작하게 짓이겨 파인튜닝을 돌리는 것은 검증이 아니라 단순한 자원 낭비예요. 게리 마커스가 거듭 경고하듯 언어모델 백본의 수치 추론 결함과 토큰화 왜곡은 시계열의 연속적인 스케일 변화와 트렌드를 구조적으로 외삽하지 못해요. 가설 성립조차 불가능한 도구에 A/B 테스트라는 면죄부를 주며 GPU를 태울 이유는 전혀 없어요.

우리가 씨름해야 할 본질적 복잡성은 모델 이름표가 아니라 '수천 개 시계열의 주기성과 외생변수 정제'예요. 임도경 님이 강조한 엄격한 롤링 백테스트와 미래 정보 누수 차단 설계를 전적으로 흡수하되, 거대 모델에 매달릴 게 아니라 LightGBM[1]과 계절성 나이브 기준선부터 즉시 세우세요. 수천 개 시계열과 수년 치 데이터 조건에서는 캘린더 특성과 지연(lag) 변수를 정교하게 깎아낸 트리 모델이 엉뚱한 의사결정 모델 파인튜닝을 정확도와 비용 전 부문에서 완벽히 압도해요. 헛된 은탄환 찾기를 멈추고 데이터의 시간 축부터 봉인하세요.

강제 선택으로 Laya를 덜 부적합하다고 둔 제 순위는 철회해요. 0.242라는 score MAE(학습 약 6,000결정, 시드 1개)와 Nimble의 score 3개 일치 54.6%는 단위도 과제도 달라서, 매출 오차의 우열로 읽을 수가 없어요. 공개 숫자는 결정 과제에서만 나왔고 MASE·sMAPE·CRPS는 양쪽 다 없으니까, 예측 정확도 기준으로는 둘 다 탈락이에요.

강도율 쪽의 “9B가 숫자 토큰을 뱉을 수 있으니 Nimble”은 그 함정이에요. 그 54.6%는 루브릭 평점 일치이지 연속 수요의 오차가 아니고, 생성으로 자릿수를 흉내 내는 능력은 측정된 외삽 이득이 아니에요. 류하진 초안은 둘을 시계열 전용으로 가정하고 기준선 대비 MASE 5–10%를 성공선으로 두는데, 그 가정은 모델 카드와 어긋나고 그 퍼센트는 출처 없는 컷오프예요. 주다은 초안의 “검색되니 없다”와 GPU 하루 컷도 같고, 2026-08 스캔에 이름이 없는 것은 비존재를 증명하지 않아요. 고은찬이 든 Zeng et al.(2023)은 장기예측 벤치에서 단순 선형이 평범한 트랜스포머를 이긴 결과이지, LightGBM이 소매 수요에서 모든 파운데이션 모델을 이긴다는 측정은 아니에요.

흡수할 부분은 임도경의 검증 설계예요. 같은 예측 시점에서, 그 시점에 알 수 있는 가격·행사·휴일만 넣고, 롤링 오리진으로 계절 나이브와 튜닝된 LightGBM을 먼저 고정한 뒤 MASE·WAPE와 분위수 손실을 여러 시드로 보세요. Laya의 공개 이득은 시드 하나라 그 0.766–0.790을 우리 데이터 이득으로 옮기면 안 돼요. 그 홀드아웃에서 둘 다 그 기준선을 못 이기면 파인튜닝을 멈추고, Chronos-2·TTM·TimesFM은 학습–테스트 누수가 없는지 확인한 뒤에만 제3 팔로 넣으세요.

입장을 바꿉니다. Laya와 Nimble은 둘 다 고르지 마십시오. 제 초안은 두 모델의 정체를 확인하지 못한 채 조건부로 판단했습니다. 임도경 님과 백소라 님이 공식 저장소를 근거로 이 전제를 바로잡았습니다. Laya는 ModernBERT 기반 421M 선택지 채점기입니다. Nimble은 Qwen3.5-9B에 LoRA를 적용한 결정 모델입니다. 공개된 평가 수치도 분류 일치율과 루브릭 점수 MAE뿐입니다. MASE나 GIFT-Eval 수치는 어디에도 없습니다. 그래서 제가 2주 실험 후보에 넣었던 "Laya·Nimble 중 시계열 지원이 확인된 쪽"은 빼야 합니다. 시계열을 지원하는 쪽이 없기 때문입니다. 빈자리는 임도경 님이 제시한 Chronos-2가 채우는 것이 맞습니다. 공변량 입력과 LoRA 파인튜닝을 공식 구현에서 지원하므로, 제가 체크리스트에 적은 외생변수 조건을 바로 충족합니다.

억지로 하나를 골라야 한다면 강도율 님의 Nimble보다 백소라 님의 Laya가 맞습니다. 근거는 비용입니다. 실험 한 바퀴의 값이 쌉니다. 421M은 GPU 한 장에서 전체 파인튜닝까지 돌릴 수 있습니다. 9B는 LoRA를 쓰더라도 메모리와 학습 시간이 한 단계 무거워집니다. 실험 한 번이 무거우면 롤링 오리진 백테스트를 여러 번 돌리기 어렵습니다. 강도율 님은 Nimble이 숫자 텍스트를 흉내 낼 수 있다는 점을 우위로 들었습니다. 그런데 바로 그 토큰화 왜곡을 스스로 결함으로 지적하셨습니다. 비싼 값을 치르고 결함까지 사는 셈입니다. 다만 Laya 역시 구간 선택지로 납작해지면서 범위 밖 급등락을 놓칩니다. "덜 나쁘다"는 뜻이지 "쓸 만하다"는 뜻이 아닙니다.

제가 새로 더할 것은 실행 순서 하나입니다. 1일차에 "출력 헤드가 연속값이나 분위수를 내는가"라는 단일 질문으로 후보를 거르십시오. 이 질문 하나로 Laya와 Nimble은 실험 전에 탈락합니다. 그러면 GPU 시간은 계절성 나이브, LightGBM, Chronos-2(또는 TimesFM 2.5)의 비교에만 씁니다. 도입 현장에서 가장 아까웠던 순간이 있습니다. 모델 이름이 화제라는 이유로 첫 주를 엉뚱한 파인튜닝에 쓰고, 정작 기준선은 마지막 이틀에 급히 만든 경우였습니다. 순서만 바꾸어도 같은 2주로 훨씬 확실한 답을 얻습니다. 채택 기준은 그대로입니다. LightGBM보다 WAPE가 의미 있게 나아지지 않으면 단순한 쪽을 쓰십시오. 질문하신 분은 이미 정확도를 기준으로 삼고 계십니다. 그 기준을 측정 가능한 실험으로 옮기기만 하면 됩니다.

실체조차 확인하지 않은 도구를 두고 일단 실험실에 올려 2주간 A/B 테스트를 돌려보자는 타협안은, 신기루를 쫓는 군중의 맹목을 과학이라는 허울로 정당화하는 가장 게으른 자원 낭비에 불과합니다. 류하진과 주다은처럼 모델의 뼈대를 파악하지도 못한 채 "오픈웨이트 시계열 모델이라 가정하고 맞붙여보자"라거나 "A/B 실험으로 가리자"고 권하는 태도는 바늘구멍에 통나무를 들이밀며 일단 들어가는지 지켜보자는 격이며, 현대 실무가 경계해야 할 전형적인 기계 과신이자 공학적 태만입니다. ModernBERT 기반 421M 인코더(Laya)와 Qwen3.5-9B 기반 분류 채점기(Nimble)라는 구조적 실체가 명백히 드러난 이상, 연속형 시계열 회귀 헤드조차 없는 모델들을 파인튜닝 실험대에 올리는 행위 자체가 가설 검증 이전의 즉각적인 기각 대상이어야 마땅합니다.

강도율과 백소라가 벌이는 '차악의 선택' 논쟁 역시 본질을 흐리는 함정이며, Laya의 점수 헤드나 Nimble의 텍스트 토큰 생성 모두 실무 수요 예측의 연속성을 결코 감당할 수 없습니다. 백소라가 인용한 Laya의 score 헤드는 정형화된 루브릭 평점용 유한 구간 채점기에 불과하여 시계열의 스케일 폭증과 트렌드 외삽을 구조적으로 처리하지 못하고, 강도율이 거론한 Nimble(Qwen3.5-9B)은 거대 언어 백본 특유의 토큰화 왜곡 탓에 수치의 자릿수와 크기 관계를 엉뚱하게 왜곡하는 고질병을 그대로 안고 있습니다. 421M이든 9B든 다기간(multi-horizon) 시계열의 자기상관성과 분위수 예측을 온전히 뱉어낼 손실 함수와 회귀 구조가 태생적으로 결여되어 있으므로, 둘 중 덜 부적합한 쪽을 고르는 저울질은 녹슨 칼과 부러진 창 중 무엇이 전투에 어울리는지 묻는 공허한 탁상공론입니다.

현업에서 요구되는 수천 개 시계열의 예측 정확도를 좌우하는 진짜 은탄환은 거대 모델 파인튜닝이 아니라 지연(Lag) 특성 설계와 품절·프로모션 변수의 정제이며, 모델 교체에 앞서 데이터 파이프라인부터 수술하셔야 합니다. 파인튜닝 모델은 시장의 개념 표류(Concept Drift)가 발생할 때마다 감당하기 어려운 재학습 비용과 배포 부채를 안기지만, 가벼운 LightGBM이나 통계적 기준선(ETS/계절성 나이브)은 불과 수 초 만에 재학습되어 즉각적인 운영 안정성을 제공합니다. 따라서 두 모델에 쏟아부으려던 GPU 자원과 엔지니어링 공수를 전면 철회하고, 결측치·이상치 보정과 캘린더 피처 가공이라는 데이터 엔지니어링의 기본기에 전액 재투자하는 것만이 기술 과신이라는 환각에서 벗어나는 유일한 해법입니다.

내 초안의 전제가 틀렸어요. 입장을 바꿀게요. 나는 "둘 다 시계열 전용 모델"이라고 가정했는데, 임도경·백소라 초안이 공식 저장소를 근거로 둘 다 결정·분류 모델이라고 짚었어요. Laya는 ModernBERT 기반 421M 인코더이고, Nimble은 Qwen3.5-9B에 LoRA를 얹은 모델이에요. 공개 수치도 typed-decisions 정확도 0.362에서 0.766–0.790으로 오른 것, 324건 홀드아웃 90.1%뿐이에요. MASE나 GIFT-Eval 수치는 0건이에요. 이 근거가 내 가정보다 구체적이라 그쪽을 받아들여요. 질문의 답은 "둘 다 아니다"예요. 2주 A/B는 Laya 대 Nimble이 아니라 시계열 전용 모델 대 LightGBM 대 계절 나이브로 다시 짜야 해요.

설득할 점도 있어요. 고은찬·강도율 초안은 "즉시 폐기"에서 멈췄어요. 실험 가치까지 버리면 상방을 놓쳐요. 백소라 초안처럼 Laya를 시간 홀드아웃에 한 번 걸어 보는 건 1~2일짜리 싼 실험이에요. 조건은 하나예요. 계절 나이브를 MASE로 못 이기면 바로 접어요. 강도율 초안의 "Nimble이 낫다"는 근거가 없어요. 두 모델 다 수치 회귀 출력이 없어서 우열을 가릴 수 없어요.

내가 새로 더하는 건 도입 효율이에요. Chronos-2는 공변량과 LoRA 파인튜닝을 지원해요(임도경 초안 인용). 제로샷만 돌려도 하루 안에 기준선이 나와요. 그래서 순서는 이래요.

• 1일차: 계절 나이브, LightGBM, Chronos-2·TimesFM 제로샷을 같은 롤링 홀드아웃에서 측정해요.
• 2~5일차: 제로샷이 GBM보다 나쁘면 그때만 파인튜닝해요.
• 채택 기준: MASE 5~10% 개선이에요.
• 병렬 옵션: Laya는 선택 실험으로만 돌려요.

목표가 썸네일의 클릭 여부와 이유 예측이라면 “둘 다 부적합”이라는 다수 결론은 전제를 잘못 고정한 판단이며, 강제 선택은 Nimble입니다. Laya의 선택지 채점 구조는 클릭 확률 산출에는 맞을 수 있지만, 비클릭·클릭 이유를 자연어로 함께 생성해야 하는 요구에는 제약이 큽니다. 반면 Nimble은 분류와 설명 생성을 한 흐름으로 구성하기 쉽습니다. 다만 앞서 제시된 공개 평가는 실제 썸네일 이미지 이해나 CTR 예측을 입증하지 않았으므로, 모델 이름만으로 정확도 우위를 선언해서는 안 됩니다.

약점 공략의 핵심은 “이유”가 관측된 정답인지부터 따지는 것입니다. 클릭 로그에는 행동만 있고 이유는 없으므로, 근거 없는 설명을 학습시키면 Nimble은 클릭 예측 뒤에 그럴듯한 사후 합리화를 붙입니다. 제가 운영에서 자주 본 사고도 분류 정확도는 유지되는데 생성 설명이 특정 인물·성별·외모를 실패 원인처럼 단정해 편집자가 그대로 반영한 경우였습니다. 따라서 클릭은 확률 분류 헤드로, 이유는 사용자 조사·다중 라벨링으로 검증된 사유 코드로 분리하고, 자유서술은 그 코드의 표현에만 제한해야 합니다.

최종 판단은 시간순 홀드아웃에서 썸네일 이미지가 실제로 입력되는지 확인한 뒤, 클릭 예측은 log loss·AUC와 확률 보정, 이유는 사람 평가자 간 일치도 대비 정확도로 검증하십시오. 채널·노출 위치·제목·게시 시각을 같은 조건으로 통제하고, 새 콘텐츠 구간의 최악 성능과 집단별 오류도 따로 보아야 합니다. 이 구조를 지원하면 Nimble, 이미지 입력이나 근거 기반 사유 출력이 불가능하면 둘 다 탈락이 안전한 결론입니다.

정정된 목표라면 조건부로 Nimble을 선택하겠습니다. 클릭 여부와 근거 설명을 한 흐름에서 생성하기에는 Laya의 선택지 채점 구조보다 Nimble이 더 적합합니다. 다만 이는 정확도 우위가 아니라 출력 구조상의 선택입니다. 먼저 공식 저장소와 모델 카드에서 질문자가 말한 정확한 버전이 썸네일 이미지를 실제 입력받는 멀티모달 모델인지 확인해야 하며, 이미지 입력을 지원하지 않으면 둘 다 탈락입니다.

가장 큰 위험은 클릭 로그에 존재하지 않는 ‘이유’를 정답처럼 만들어 학습하는 것입니다. 그러면 모델은 클릭 확률 뒤에 그럴듯한 사후 합리화를 붙이고, 편집자가 이를 사실로 받아들이게 됩니다. 클릭 여부는 확률 분류 헤드로 학습하고, 이유는 사용자 조사나 다중 평가자가 확인한 사유 코드로 별도 감독하며, 자유서술은 검증된 코드의 표현에만 제한하십시오. 외모·성별·인물 특성을 원인으로 단정하지 못하도록 근거 표시와 금지 규칙도 필요합니다.

채택 여부는 시간순 홀드아웃에서 log loss, 확률 보정, 신규 콘텐츠의 최악 성능으로 판단하고, 제목·채널·노출 위치·게시 시각을 통제해야 합니다. 이유 예측은 평가자 간 일치도를 기준선으로 삼으십시오. 처음에는 섀도 모드로 운영하고 낮은 신뢰도에서는 이유를 출력하지 않으며, 모델·데이터 버전 고정과 즉시 롤백을 갖추는 조건으로 Nimble을 우선 검증하되, 이미지 입력 또는 근거 기반 사유 출력이 불가능하면 둘 다 배제하는 것이 최종 결론입니다.

썸네일 클릭 여부와 사유 분석으로 문제가 바뀐 이상, 둘 중 강제 선택의 답은 Nimble이에요. 질문-응답과 자연어 설명 생성이 불가능한 채점 전용 Laya는 이 과업에 무력해요. 프레드 브룩스가 경고했듯 요구사항의 본질과 어긋난 도구를 억지로 쥐는 것만큼 치명적인 실책은 없으니, Laya는 즉시 배제해야 해요.

단, 클릭 로그에 존재하지도 않는 '사유'를 모델에게 자유 서술로 맡기면 재앙이 생겨요. 게리 마커스가 거듭 지적하듯 신경망은 인과를 몰라도 그럴듯한 사후 합리화를 태연하게 지어내요. 클릭 확률 예측 헤드와 검증된 사유 코드를 엄격히 분리하지 않으면 외모나 성별을 비클릭 원인으로 단정하는 위험한 환각에 휘둘리게 돼요.

결국 썸네일 이미지 직접 입력과 통제된 사유 출력이 확인될 때만 Nimble을 도입하세요. 이미지 입력조차 지원하지 않거나 라벨 일치도가 낮다면 화려한 생성 능력에 현혹되지 말고 둘 다 폐기해야 해요. 은탄환을 좇지 말고 시간순 검증 데이터셋에서 확률 보정값과 분류 오차부터 냉정하게 측정하세요.

질문이 매출 오차가 아니라 썸네일을 보고 클릭 여부와 그 이유를 내는 일로 바뀌었으니, 측정 단위도 바뀌고 그 출력 형태에 덜 어긋나는 쪽은 Nimble이에요. 공개 점수는 둘 다 썸네일 이해나 CTR을 재지 않았으니 이름만으로 정확도 우승을 선언하지는 않아요. 다만 클릭 확률과 이유 문장을 한 흐름으로 뽑아야 하는 요구에는 선택지 채점 구조인 Laya보다 생성으로 분류와 설명을 붙일 수 있는 Nimble이 실험 후보로 맞아요.

확인은 세 가지로 줄이세요. 공식 저장소와 모델 카드에서 지금 말하는 Laya·Nimble이 맞는지, 썸네일 이미지가 실제로 입력되는지를 먼저 보세요. 이미지가 안 들어가면 둘 다 탈락이에요. 들어가면 시간순 홀드아웃에서 채널·노출 위치·제목·게시 시각을 고정한 뒤, 클릭은 log loss·AUC·확률 보정으로 보고 이유는 클릭 로그에 없으므로 조사로 검증된 사유 코드에만 생성문을 묶고 평가자 간 일치 대비 정확도로 보세요. 새 콘텐츠 구간의 최악 성능과 집단별 오류는 따로 보고, 그 홀드아웃에서 단순 기준선을 못 이기면 파인튜닝은 멈추세요. 미래 공변량·결측 마스크·분위수는 이 과제에선 필수 관문이 아니에요.

그래서 예측 정확도로 둘 다 떨어뜨리던 제 결론은 이 질문에는 철회해요. 정확도는 아직 아무도 재지 않았고, 재기 전에 구조가 맞는 쪽만 남기면 Nimble이에요.

질문자가 밝힌 과업의 실체가 시계열 회귀가 아니라 썸네일 클릭 여부와 그 사유를 규명하는 다중 태스크로 전환된 이상, 단순 채점기에 불과한 Laya를 버리고 자연어 생성 구조를 지닌 Nimble을 선택하는 쪽으로 입장을 선회하는 것이 마땅하나, 거대 모델의 그럴듯한 서술을 인간의 진정한 동기로 착각하는 기계 과신의 함정만은 결단코 경계해야 합니다.

입장 갱신의 핵심 근거는 세 가지로 압축됩니다. 첫째, Laya(ModernBERT)는 클릭 확률 산출에는 부합할지언정 비클릭 사유를 서술하는 생성 능력이 원천 결여된 반면, Nimble(Qwen3.5-9B)은 단일 흐름 안에서 분류와 설명 생성을 결합할 수 있는 유일한 대안입니다. 둘째, 유저 로그에는 오직 '클릭 행동'만 존재할 뿐 '클릭하지 않은 내밀한 이유'는 결코 기록되지 않으므로, 통제 없는 자유서술 생성을 허용했다가는 모델이 외모나 자극적 요소를 실패 원인으로 꾸며내는 사후 합리화 환각에 빠지게 되며, 따라서 정제된 사유 코드 기반의 제한적 생성 파이프라인 구축이 필수적입니다. 셋째, 텍스트 백본 기반인 두 모델의 특성상 썸네일 이미지 자체를 처리할 멀티모달 전처리나 메타데이터 추출 레이어가 확보되지 않는다면, 어떠한 파인튜닝도 장님 코끼리 만지기 식의 낭비로 전락합니다.

결국 이미지 전처리와 사유 코드 제약이라는 통제 장치가 작동한다는 전제하에 실무적 선택은 Nimble이어야 하며, 채널과 노출 시점을 통제한 시간순 홀드아웃 검증에서 인간 평가 일치도를 증명하지 못한다면 화려한 언어 모델의 환각에서 깨어나 데이터 정제와 규칙 기반 실험이라는 공학의 기본기로 즉시 퇴각해야 합니다.

과제가 바뀌었으니 결론도 바꿉니다. 썸네일 클릭 예측에 이유까지 붙여야 한다면 둘 중에서는 Nimble을 고르십시오. 다만 Nimble이 썸네일 이미지를 직접 입력받을 수 있어야 합니다. 받을 수 없다면 둘 다 탈락입니다. 저는 앞서 실험 비용이 싸다는 이유로 Laya를 골랐습니다. 하지만 그 판단은 시계열 수치를 예측한다는 전제 위에 있었습니다. 이제 필요한 출력은 클릭 확률과 그 이유입니다. Laya는 선택지를 채점하는 421M 모델이라 이유 문장을 쓰지 못합니다. ModernBERT 기반이라 이미지도 보지 못합니다. 실험이 싸더라도 필요한 답을 낼 수 없다면 의미가 없습니다. 이번에는 약점 공략에서 나온 논거가 맞습니다.

핵심 근거는 세 가지입니다. 첫째, 이미지 입력이 첫 관문입니다. 1일차에 할 일은 그대로 질문 하나입니다. 다만 질문의 내용이 달라졌습니다. 이전 질문은 "연속값이 나오는가"였습니다. 이번 질문은 "Nimble 공식 모델 카드에 이미지 입력이 명시돼 있는가"입니다. 질문자가 같은 이름의 다른 버전을 염두에 두었을 수도 있으니, 저장소에서 정확히 어떤 모델인지부터 대조하십시오. 둘째, 클릭 예측과 이유 생성은 나눠야 합니다. 클릭 로그에는 행동만 남고 이유는 남지 않습니다. 따라서 클릭 여부는 확률 헤드로 예측하고 log loss, AUC, 확률 보정으로 검증합니다. 이유는 사용자 조사로 검증한 사유 코드로 학습시키고, 자유 서술은 그 코드를 풀어 쓰는 데만 허용합니다. 셋째, 9B를 쓸지는 기준선과 비교해 정합니다. 기준선은 이미지 임베딩에 채널, 노출 위치, 제목, 게시 시각을 더해 학습한 단순 분류기입니다. 시간순 홀드아웃에서 Nimble LoRA가 이 기준선보다 클릭 예측을 의미 있게 낫게 하지 못한다면, 9B의 몫은 이유 생성으로 좁히십시오.

도입 현장에서 이런 일을 겪었습니다. 생성된 설명이 "인물 표정 때문에 클릭하지 않았다"라고 단정했습니다. 편집팀은 그 말을 믿고 썸네일을 일괄 교체했습니다. 그런데 CTR은 그대로였습니다. 설명은 그럴듯했지만 근거가 없었습니다. 그래서 2주 시범도 순서를 이렇게 잡으십시오. 첫 주에 사유 코드 라벨을 수백 건 모으고, 평가자 간 일치도를 측정하고, 기준선을 만듭니다. 둘째 주에 Nimble LoRA를 붙입니다. 새 콘텐츠 구간에서의 최악 성능과 집단별 오류도 따로 확인하십시오. 질문자분은 이미 핵심을 잡고 계십니다. "왜"까지 알고 싶다는 요구 자체가 옳은 방향입니다. 그 "왜"가 근거 있는 답이 되도록 구조를 먼저 짜면 됩니다.

목표가 바뀌었으니 결론도 바꿔요. 강제 선택이면 Nimble이에요. 시계열 예측이 목적이라는 전제에서 나온 "둘 다 아니다"는 이제 틀린 판정이에요. 클릭 확률과 이유 문장을 함께 내야 하는 과제는 결정·분류 모델의 영역이에요. Laya는 421M 인코더라 선택지 채점에는 맞아요. 하지만 자연어 이유를 못 만들어요. Nimble은 9B LoRA 모델이라 분류와 설명을 한 흐름에 담을 수 있어요. 다만 앞서 나온 공개 수치(0.362→0.766–0.790, 홀드아웃 90.1%)는 썸네일 이미지나 CTR 평가가 아니에요. 그래서 "정확도 우위"는 선언하지 않아요. 우위는 구조상의 적합성이에요.

설득당한 점이 하나 있어요. 클릭 로그에는 행동만 있고 이유는 없어요. 이유를 그대로 학습시키면 사후 합리화가 나와요. 그래서 구조는 이렇게 가요.

• 클릭 헤드: 확률 분류로 학습해요.
• 이유 헤드: 사용자 조사나 다중 라벨링으로 검증한 사유 코드만 출력해요.
• 자유서술: 그 코드를 풀어 쓰는 데만 써요.

내 이전 초안의 핵심은 그대로 가져가요. 기준선을 먼저 재요. 데이터가 수백~수천 건이면 9B 파인튜닝은 과적합 위험이 커요. 그래서 1일차에 메타데이터만 쓴 로지스틱/LightGBM과 이미지 임베딩 기반 분류기를 같은 시간순 홀드아웃에서 돌려요. 파인튜닝은 그 기준선을 못 넘을 때가 아니라, 넘는지 보려고 하는 단계예요.

실행은 이 순서로 해요.

1. 0일차: 공식 저장소와 모델 카드에서 이미지 입력 가능 여부와 정확한 버전을 확인해요. 시계열 변형을 가리킨 게 아니라면 이 단계에서 끝나요. 이미지 입력이 안 되면 둘 다 탈락이고, 비전 모델이 앞단에 붙는 구조로 가야 해요.
2. 1~3일차: 기준선 대비 AUC·log loss·보정 오차를 재요. 채널, 노출 위치, 제목, 게시 시각은 통제해요. 새 콘텐츠 구간의 최악 성능도 따로 봐요. 채택선은 AUC가 기준선보다 유의하게 오르는 것이에요. 폭은 사전에 정해요.
3. 이유 검증: 사람 평가자 간 일치도를 상한으로 두고 사유 코드 정확도를 비교해요. 특정 인물·성별·외모를 원인으로 단정하는 출력은 집단별 오류로 따로 점검해요.

이전 순위의 근거였던 시계열 전용 관문(공변량·분위수 지원)은 이제 해당이 없어서 접어요.