허깅페이스, '결정 모델' 공식 지원 — 채팅 없이 확률만 반환하는 AI

LLM은 텍스트를 잘 쓰지만, 정답 후보가 정해진 일은 비싸게 처리한다. 허깅페이스가 11월 10일 공식 블로그에서 "결정 모델(decision model)"을 하나의 표준 인터페이스로 묶어 지원하기 시작했다. 문장을 생성하는 대신 점수를 매긴다.

배경 — 왜 LLM에 분류를 맡기면 흔들리는가

라우팅, 모더레이션, 우선순위 판정처럼 정답 후보가 정해진 일은 지금도 프롬프트에 "JSON으로 답해"라고 적어 LLM을 부르는 방식으로 처리한다. 허깅페이스는 이 방식에 세 가지 문제를 정리했다.

1. 스키마를 지킬 보장이 없다. 지시해도 잘못된 JSON이 나오거나 후보 밖의 답을 돌려줄 수 있다.
2. Constrained decoding(Outlines, XGrammar)으로 문법을 강제해도 계산 비용은 그대로 남는다.
3. 답 하나만 필요한데 전체 응답을 생성한다. 오토회귀 디코딩이 과한 일이다.

핵심 — State + Questions + Allowed Answers → Decisions + Probabilities

결정 모델의 계약은 이 한 줄이다. 입력은 상태(state)와 질문(questions), 출력은 결정(decision)과 확률(probabilities)다. 질문은 세 가지 원시(primitive)로 나뉜다.

• choice — 여러 대안 중 하나를 고른다. 옵션마다 로짓을 매겨 softmax로 분포를 만든다. Billing 0.998 / Technical 0.001 / Sales 0.001 같은 식이다.
• score — 정해진 척도에서 기댓값을 계산한다. 'low 0.10, medium 0.26, high 0.72' 분포에서 1.7을 뱉는다. '중간 이상'이라는 가상의 레벨을 고른 게 아니라 분포의 기댓값이다.
• noul — 예/아니오 질문의 확률 하나. Bernoulli 분포의 p를 그대로 반환하고 판단은 애플리케이션 몫으로 남긴다.

여기에 confidence가 붙는다. 선택지가 K개일 때 (p_max − 1/K) / (1 − 1/K)로, 균등 분포면 0, 한 옵션에 몰리면 1이다.

에코시스템

• Transformers — DecisionPipeline, AutoModelForDecision, DecisionConfig 클래스와 /v1/systemone 엔드포인트가 추가됐다. 전용 학습 손실·헤드 지원 PR(#50054)이 11월 9일 머지됐다. 기존 자기회귀 LLM도 그대로 쓸 수 있다. Transformers가 프롬프트를 만들고 답안 라벨의 로짓을 배치 forward 한 번으로 읽어 softmax만 적용한다. 응답의 output_tokens은 0이다.
• llama.cpp — 같은 /v1/systemone API를 10월 2일부터 지원한다(PR #29818 머지). llama serve -hf ggml-org/Kev-4B-GGUF로 바로 띄울 수 있다. ggml 공식 게시물 기준 RTX PRO 6000에서 144M Julia-1은 3ms, 4B Kev-4B는 12ms, 27B OpenJev는 43ms였다.
• 허깅페이스 허브 — decision-model 태그와 Decision models 컬렉션이 생겼다. 백본이 달라도 인터페이스만 같으면 되므로 인코더 모델과 생성형 LLM 파생 모델이 한자리에 모인다. autotrust/GEV-26B-Decide는 Apache 2.0으로 11월 11일 기준 다운로드 297,377회, 좋아요 349개였다.
• 학습 — Trainer API로 파인튜닝할 수 있고 선택형 질문은 옵션에 대한 일반 교차엔트로피로 학습된다. TRL의 DecisionTrainer 지원 PR(#8040)은 11월 10일 기준 미병합 상태다. Unsloth는 Qwen 계열에 LoRA와 decision-scoring head를 붙이는 레시피를 공개했다.

시사점

대화형 AI와는 다른 축의 선택지가 생겼다. 라우팅, 모더레이션, 에이전트의 다음 행동 선택, 가드레일 판정처럼 후보가 좁고 판정이 빨라야 하는 일은 결정 모델로 처리하는 편이 싸고 빠르다. 확률이 함께 나오므로 "확신할 때만 자동 처리하고 나머지는 사람에게 넘긴다"는 임계값 운용이 가능해진다.

다만 초기 단계다. 프롬프트, 답안 라벨, 캘리브레이션 설정을 저장하는 공통 포맷이 아직 없어 라이브러리마다 기본값이 다르다. --decision-config로 직접 지정해야 하고, llama.cpp 제공자들이 권하는 "모델마다 다른 임계값"은 결국 자사 데이터로 직접 검증한다는 뜻이다.

모델 쪽 출발점은 TypeSafe AI다. 이들은 9월 15일 Jev라는 System One 모델을 공개하며 RLCD(Reinforcement Learning for Calibrated Decisions) 학습법을 내걸었다. 응답 시간 70~500ms, 입력 $0.042/MTok, 출력 무료라고 명시했다. 다만 회사 자체 주장 수치다.

출처

• 허깅페이스 공식 블로그, "Decision Models in Hugging Face" (2026-11-10) — https://huggingface.co/blog/decision
• ggml 공식 블로그, "New in llama.cpp: Decision Models" (2026-10-02) — https://huggingface.co/blog/ggml-org/decision-models-in-llamacpp
• TypeSafe AI 공식 블로그, "Introducing System One Models & Jev" (2026-09-15) — https://typesafe.ai/blog/introducing-system-one-models-and-jev
• Transformers 서빙 문서, v1/systemone — https://huggingface.co/docs/transformers/main/en/serve-cli/serving
• transformers PR #50054 (2026-11-09 머지) — https://github.com/huggingface/transformers/pull/50054
• llama.cpp PR #29818 (2026-10-02 머지) — https://github.com/ggml-org/llama.cpp/pull/29818
• TRL PR #8040 (11월 10일 기준 미병합) — https://github.com/huggingface/trl/pull/8040
• 예시 모델 카드 autotrust/GEV-26B-Decide — https://huggingface.co/autotrust/GEV-26B-Decide