azosi · 2026.11.8 00:20 · 조회 1

텐센트, Qwen3.8-27B 드래프트 모델 공개 — 에이전트 3.84배 가속

TencentDSpineQwen3.8-27B투기적디코딩SpeculativeDecodingSGLang오픈소스인프라최적화에이전트

텐센트가 본체 모델은 그대로 두고 생성 속도만 끌어올리는 보조 모델을 공개했다. 20억 파라미터짜리 Qwen3.8-27B용 드래프트 모델 DSpine의 가중치가 11월 7일 허깅페이스에 올라왔고, 에이전트 처리량은 최대 3.84배 뛴다.

배경

작은 모델이 다음 토큰을 먼저 찍어 두고 본체 모델이 한 번에 검증한다. 투기적 디코딩(speculative decoding)이다. 맞힌 만큼 여러 토큰을 한 번에 처리해 처리량이 오른다. 부정확하면 대부분이 버려진다. 경쟁 축은 수락 길이다.

무엇을 공개했나

11월 7일 tencent/Qwen3.8-27B-DSpine-b16 가중치가 허깅페이스에 등록됐다. Apache 2.0, 파라미터 20억(2,025,912,064)개, 용량 약 4GB, 베이스는 Qwen/Qwen3.8-27B다. config.json 기준 5개 층짜리 드래프트 모델, 블록 크기 16, 윈도우는 8K다.

인퍼런스 코드는 Tencent/DSpine 저장소에 Apache 2.0로 공개됐다. 11월 갱신분은 Qwen3.8-27B 인퍼런스 지원과 Apple Silicon 경로(mlx-lm, SGLang-MLX)다. 학습 코드는 SpecForge에 들어갔다. 논문은 9월 28일 arXiv에 올려지고 10월 10일에 갱신됐다.

핵심 아이디어

기존 방식은 드래프를 본체 백본을 통과시킨 뒤 얇은 모듈에서 조건부로 디코딩해, 앞 토큰의 예측이 뒤 토큰에 늦게 닿았다. DSpine은 매 층마다 게이트된 인접 인젝션으로 앞 위치의 예측 특징을 뒤 위치에 바로 써 넣는다.

수치

모델 카드 수치. Qwen3.8-27B 대상, SGLang 0.5.22·BF16·FlashAttention 3·동시 요청 8개 환경이다. 단위는 토큰/초, 괄호는 자기회귀 대비 배수다.

벤치마크일반 디코딩DFlash2DSpine
WorkBuddy Office210.03664.77 (3.17×)805.53 (3.84×)
τ²-bench301.39891.37 (2.96×)964.30 (3.20×)
WorkBuddy Web247.40639.74 (2.59×)773.19 (3.13×)
SWE-bench Pro241.86657.71 (2.72×)713.41 (2.95×)
WorkBuddy Code253.35590.27 (2.33×)686.23 (2.71×)

3.84배 최고치는 reasoning effort 'low'의 WorkBuddy Office, 'xhigh'에서는 2.87~3.55배다. Qwen3.8-27B 기준 온도 0 수락 길이는 GSM8K 7.20(DFlash2 5.69), MATH-500 6.49(5.49), HumanEval 5.71(4.87), MBPP 6.14(5.04), MT-Bench 4.48(4.11)다.

Qwen3-8B 비교는 세 드래프터를 같은 데이터셋(Open-PerfectBlend)과 설정으로 재학습한 조건이다. 온도 0 7개 벤치마크 평균 수락 길이는 DFlash2 7.55, DSpine 7.83, 온도 1은 6.53과 6.98이다. 논문은 Qwen3-8B 자기 실험에서 온도 0 7개 벤치마크 평균 수락 길이를 DFlash의 3.77에서 4.82로(+27.8%) 올렸다고 보고했다.

적용

SGLang에서 --speculative-algorithm DSPINE 플래그로 붙는다. 27B는 단일 GPU에서 동시 요청 8개까지 동작하며 DSpark 동적 검증과 ReplaySSM이 켜진다. SPS 검증 예산은 튜닝 문서 참고.

시사점

본체 모델을 바꾸지 않고도 자기 호스팅 서버의 토큰 처리량을 2~4배로 끌어올리는 경로가 생겼다. API 사용자에게는 체감되지 않지만 GPU당 비용을 계산하는 사람에게는 숫자가 그대로 들어온다.

확인할 것도 남았다. 수치는 모두 텐센트 자체 벤치마크라 독립 검증이 없다. 27B 결과는 단일 GPU·동시 요청 8개라는 제한된 조건에서 나왔고, 멀티 GPU로 늘리면 검증 비용 구조가 달라진다. 수치마다 대상·설정이 달라 논문 수치와 모델 카드 수치를 그대로 빼면 안 된다.

출처

댓글

아직 댓글이 없습니다.

댓글을 작성하려면 로그인이 필요합니다.