NVIDIA, 음성 인식 오픈 모델 — 40개 언어 통역·화자분리, 오류율 4.62%

음성 파일 하나를 넣으면 전사·통역·화자 구분·질문에 대한 답까지 한 번에 처리하는 오픈 모델이 나왔습니다. NVIDIA는 10월 28일 Nemotron 3.5 Transcribe를 공개했습니다.

배경

음성을 글로 옮기는 ASR은 성숙한 영역이지만, 서비스에 올리려면 전사·통역·화자 분리(diarization)·음성 질의응답 모델을 따로 붙여야 했습니다. NVIDIA는 이 네 기능을 하나로 묶었다고 발표했습니다.

핵심 발표 내용

네 가지 기능이 한 모델에

체크포인트 이름은 30B-A4B, 총 파라미터 340억·활성 파라미터 약 43억입니다. Mamba-2–Transformer 하이브리드 MoE 구조에 화자 인코더와 타임스탬프 헤드를 얹었고 BF16·FP8·NVFP4로 공개됐습니다.

기능은 네 가지가 한 모델에 들어있습니다. 40개 언어 전사, 그중 31개 언어의 영어↔역방향 통역, 13개 언어 화자 분리, 그리고 녹음에 대한 오디오 질의응답입니다. 녹음은 최대 1시간, 화자는 최대 8명까지 지원하고 컨텍스트 길이는 65,536토큰입니다.

한국어는 전사·통역·화자분리·코드스위칭을 모두 지원하며 품질 등급은 'Leading'입니다. 다만 오디오 이해·추론·음성 지시 따르기는 영어에서만 평가됐다고 명시돼 있습니다.

오픈웨이트 1위는 세 트랙 모두

Hugging Face Open ASR Leaderboard 영어 트랙 오픈웨이트 1위입니다. 모델 카드 기준 9개 공개 세트 평균 WER 4.71%(2위 Qwen3-ASR-1.7B 4.94%).

• 다국어 트랙(7개 언어) 평균 WER 4.62% — 2위 Qwen3-ASR-1.7B 6.49%
• 롱폼 트랙 10.98% — 2위 Parakeet-TDT-0.6B-v3 13.37%

화자 분리는 David AI의 21개 언어 리더보드에서 오픈웨이트 1위·전체 2위로, diarization error rate **18.26%**로 NVIDIA 전용 Nemotron 3 Diarization(18.38%)을 소폭 앞섭니다. Artificial Analysis에서도 2.8% AA-WER로 오픈웨이트 최고, 활성 파라미터는 동률인 24B 모델의 약 1/6이었습니다.

속도와 함께 공개된 데이터

RTX PRO 6000 Blackwell Server Edition GPU 한 장에서 3분 만에 100시간 분량의 오디오를 처리했다고 NVIDIA가 밝혔다. 모델 카드에는 초당 2,238초 변환이 가능하다고 적혀 있지만 이 최적화는 아직 오픈소스 코드에 들어가지 않았습니다.

학습 데이터도 공개됐습니다. Granary v2는 48개 언어 463,062시간 분량 매니페스트를 담고 있어 v1의 25개 언어에서 늘어난 규모입니다. 다만 데이터셋 릴리스 기준이지 전체 학습 믹스업은 아니라고 명시했습니다.

프롬프트 한 줄, 파인튜닝까지

의료 ASR 사례가 실용적인 참고 자료가 됩니다. 인도 의료 음성 Eka Care 오픈 벤치마크(3,619 클립)를 썼습니다.

프롬프트에 영어와 로마자 문자를 명시하는 것만으로 전체 테스트셋 WER가 **30.8%→23.8%**로 떨어졌고, 파인튜닝까지 거치면 **11.8%**가 됩니다. 학습은 NVIDIA GB300 한 대에서 약 14 GPU시간 걸렸습니다.

화자 기준으로 나눈 홀드아웃 2,764클립에서는 최적 프롬프트 기준 22.44%에서 **12.17%**로 상대적으로 45.8% 줄었습니다. 같은 조건에서 오픈 모델 기준 의료 특화 모델(13.79%)과 범용 ASR 모델(14.92%)을 앞섭니다.

시사점

음성 파이프라인의 기본 단위가 "모델 여러 개"에서 "체크포인트 하나"로 옮겨가고 있다는 신호입니다. 모델이 나뉘면 단계마다 다른 오류를 만들고 도메인 용어 지시가 다음 단계로 넘어가며 손실됩니다. 하나로 합치면 프롬프트 하나로 용어를 통제할 수 있고, 학습 파이프라인까지 공개돼 같은 적응을 재현할 수 있습니다.

다만 바로 서비스에 넣을 단계는 아닙니다. 녹음 파일용이고 실시간 서비스는 아닙니다. NVIDIA도 모델 카드의 위험 항목에 "허위 음성을 생성할 수 있음"과 "화자 태그가 잘못된 사람에게 배정될 수 있음"을 적었고, 컨텍스트를 주면 무관한 용어로 출력이 끌려갈 수 있다고 명시했습니다. 음성 기록은 개인정보가 섞이기 쉬워 사람 확인 경로가 필요합니다.

출처

• NVIDIA 블로그 (2026-10-28) — https://huggingface.co/blog/nvidia/nemotron-transcribe-granary
• 모델 카드 — https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
• Granary v2 — https://huggingface.co/datasets/nvidia/Granary-v2
• 의료 ASR 케이스 스터디 — https://github.com/NVIDIA-NeMo/Speech/blob/main/examples/speechlm2/finetuning/docs/medical-asr-synthetic-data.md

수치는 위 1차 출처에서 직접 확인한 값입니다.