azosi · 2026.11.17 00:08 · 조회 0

알리바바, Qwen4-Max 공개 — 2.4조 파라미터·작업당 비용 62%↓

AI알리바바Qwen4-MaxQwen대형언어모델MoE에이전트비용최적화

파라미터 수보다 '일 하나당 얼마가 드는가'가 먼저 바뀌었다. 알리바바가 11월 16일 Qwen4-Max를 정식 공개하며 입력 100만 토큰당 1.5달러, 출력은 4.5달러를 제시했다. Qwen4 시리즈의 첫 모델이 정식으로 나왔다. 이번에 나온 것은 컨텍스트 길이만 늘린 모델이 아니다. 어텐션과 잔차 연결, 임베딩까지 포함한 모델 구조 자체를 갈아엎은 'Qwen4 아키텍처'의 결과물이다. 총 파라미터는 2.4조 규모지만 토큰 하나를 처리할 때 실제로 계산되는 부분은 710억 개에 그친다. 같은 2.4조 규모였던 전작과 비교해 활성화 파라미터는 25% 적다.

무엇이 바뀌었나

핵심은 세 가지다.

  • GDN + Qwen Sparse Attention(QSA): 게이트 델타넷 층 3개가 과거 정보를 고정 크기 상태로 압축하고, QSA의 경량 인덱서가 미세 블록 단위로 필요한 문맥만 골라낸다. 어텐션 비용과 인덱싱 비용을 함께 낮춘 구조로, 문맥이 길수록 유리해진다.
  • Gated Residual(GR): 4개의 병렬 잔차 가지에 동적 읽기·쓰기 게이트를 두어 층 사이 정보 흐름을 강화하고 학습 안정성을 높였다. 2.4조 규모 학습에서도 손실이 안정적으로 내려갔다는 것이 회사의 설명이다.
  • N-gram Embedding: 두 번째 층에서 주변 토큰 패턴을 문맥 기반으로 조회해 계산량 증가 없이 모델 용량을 넓힌다. 추가 파라미터는 3280억 개다.

성능보다 비용이 중요한 출발점

알리바바는 Work360이라는 자체 벤치마크를 직접 만들었다. 26개 1차 도메인, 182개 2차 하위 도메인, 721개 3차 전문 분야로 나눈 계층 구조 위에 실제 업무 난이도 과제를 얹은 형태다. Qwen4-Max는 52.69점을 기록했고 전작 Qwen3.8-Max는 47.74점이었다. 실제 코딩 리더보드인 Code Arena에서는 6위에 올랐다. 토큰 절감 폭이 더 눈에 띈다. Work360 기준 Xhigh·High 추론 모드에서 토큰 사용량이 각각 약 24%, 35% 줄었고, Terminal-Bench 4.0에서는 약 48%, 49% 줄었다. 과제당 평균 비용은 4.43달러에서 1.67달러로 62% 내려갔다. API 가격도 앞선 모델보다 낮다. 입력 100만 토큰당 1.5달러, 출력 4.5달러, 암묵적 캐시 적중 시 입력 0.075달러다.

숫자 밖의 적용 사례

발표는 벤치마크 표에서 끝나지 않았다. 실제 생산 현장 결과가 붙었다.

  • 자동차 제조: 실제 라인에서 생산라인 배치, 부품 설계, 가공 검증을 잇는다. 피드백 기반 반복으로 과절삭이나 재삭여를 가공 전에 잡아내며, 부품 한 개의 수작업 프로그래밍 시간이 약 475분에서 24분으로, 약 95% 줄었다.
  • 과학 탐색: 칩 냉각 문제를 다룰 때는 48시간 연속 에이전트를 돌려 후보 분자 270만 개를 세우고, 구조 선별과 속성 예측, 제1원리 계산, 역합성 분석, 실험 계획을 거친 뒤 '분자 설계 → 합성·시험 → 능동 학습' 닫힌 고리를 네 번 돌려 실험으로 검증된 냉각제 분자를 얻었다. 알츠하이머병 연구에서는 454번 도구 호출과 3,239회 지표 평가로 후보 24개를 설계해 최적화했다.
  • 안전: 기능 검증에 코드 보안 검사를 얹어, Last Secure Code Bench에서 기능과 보안을 모두 통과하는 함수 단위 비율이 22.0%에서 31.8%로 올랐다. 기능·파일·저장소 세 단계 모두 안전하게 생성된 비율은 8%에서 14.7%로 거의 두 배가 되었다.

시사점

이 발표의 무게중심은 순위가 아니라 비용 구조에 있다. 같은 일을 시키는 비용이 60% 넘게 내려간다면 모델 선택 기준이 과제당 비용으로 옮겨갈 수밖에 없다. 알리바바는 이번에도 플래그시프인 Qwen4-Max의 가중치를 열지는 않았다. Qwen4 계열의 작은 모델을 오픈 소스로 내놓겠다는 예고만 남겼다. 최대 모델은 플랫폼에 묶어두는 구조를 그대로 유지한 셈이다.

출처


Qwen 공식 블로그와 Alibaba Cloud 공식 블로그 원문을 1차 출처로 삼아 작성했다. 수치·날짜는 원문 표기만 인용했다.

댓글

아직 댓글이 없습니다.

댓글을 작성하려면 로그인이 필요합니다.