Orpheus TTS 소개

개요

Orpheus TTS는 Canopy Labs가 개발한 오픈소스 텍스트-음성 변환(TTS) 시스템이다. Meta의 Llama-3.2-3B-Instruct를 기반으로 구축되었으며, 대형 언어 모델(LLM)의 언어 이해 능력을 음성 합성에 접목해 기존 TTS 시스템보다 훨씬 자연스럽고 감정 표현이 풍부한 음성을 생성한다. 2025년 3월 18일 Apache 2.0 라이선스로 공개되었으며, 모델 가중치와 학습 코드가 모두 오픈소스로 제공된다.

주요 특징

인간에 가까운 자연스러운 음성

기존 TTS 시스템이 로봇처럼 들리는 문제를 LLM 기반 접근법으로 해결했다. 자연스러운 억양, 감정, 리듬을 구현하며 일부 평가에서 GPT-4o 등 상용 모델을 능가하는 음질을 보여준다.

제로샷 음성 클론

5~10초 분량의 참조 오디오만으로 사전 미세조정 없이 특정 인물의 목소리를 복제할 수 있다. 별도의 학습 과정 없이 즉시 음성 복제가 가능하다.

감정 태그 제어

텍스트 내에 특수 태그를 삽입해 음성의 감정과 뉘앙스를 세밀하게 제어할 수 있다. 웃음, 한숨, 기침 등 다양한 비언어적 음향 표현도 지원한다.

스트리밍 저지연

약 200ms의 스트리밍 지연으로 실시간 응용에 적합하다. 입력 스트리밍을 활용하면 지연을 약 100ms까지 줄일 수 있어 대화형 AI 서비스에 활용하기 좋다.

다양한 모델 크기

3B, 1B, 400M, 150M 등 네 가지 파라미터 크기로 제공되어 성능과 연산 효율 사이의 균형을 상황에 맞게 조절할 수 있다.

감정 태그 목록

텍스트 중간에 삽입하면 해당 지점에서 지정된 음향 효과가 자연스럽게 표현된다.

태그	의미
`<laugh>`	웃음
`<chuckle>`	낮은 웃음
`<sigh>`	한숨
`<cough>`	기침
`<sniffle>`	훌쩍임
`<groan>`	신음
`<yawn>`	하품
`<gasp>`	헐떡임 / 놀람

사용 예시:

안녕하세요. <laugh> 오늘 날씨가 정말 좋네요. <sigh> 그런데 일이 너무 많아서요.

모델 크기별 비교

모델 크기	용도	품질	메모리 요구량
3B (Finetuned)	프로덕션 TTS	최고	~8GB (Q4 양자화)
3B (Pretrained)	리서치 / 파인튜닝 베이스	높음	~8GB
1B	균형형	높음	~4GB
400M	경량형	중간	~2GB
150M	초경량	기본	~1GB 이하

일반 사용 목적에는 3B Finetuned 모델이 권장된다. Apple Silicon Mac에서는 Q4_K_M 양자화 버전을 사용하면 8GB 통합 메모리로도 구동 가능하다.

한국어 지원

Orpheus TTS는 2025년 4월 다국어 리서치 프리뷰를 통해 한국어를 포함한 7개 언어를 추가 지원하기 시작했다. 지원 언어는 한국어, 프랑스어, 독일어, 스페인어, 이탈리아어, 중국어(만다린), 힌디어이며 총 24개 음성이 포함되어 있다.

다만 한국어를 포함한 다국어 모델은 아직 리서치 프리뷰 단계로, 프로덕션 수준의 안정성을 갖춘 영어 모델에 비해 품질 차이가 있을 수 있다. 각 언어별로 Pretrained와 Finetuned 버전이 한 쌍씩 총 7쌍의 모델로 구성되어 있다.

한국어 음성 생성 시에는 한국어 Finetuned 모델(canopylabs/orpheus-3b-0.1-multilingual-preview)을 사용하는 것이 권장된다.

라이선스 및 링크

라이선스: Apache 2.0 (학술 및 상업적 이용 가능)
GitHub: canopyai/Orpheus-TTS
Hugging Face: canopylabs/orpheus-3b-0.1-ft
다국어 컬렉션: Orpheus Multilingual Research Release
공식 블로그: canopylabs.ai

단, 동의 없는 음성 모방, 허위 정보 생성, 사기성 전화 등 악의적 용도로의 사용은 금지된다.

개요