[오픈소스 AI] 가장 가벼운 고성능 음성 AI, 샤오미 OmniVoice 모델 사용 가이드

안녕하세요,

최근 인공지능 모델은 텍스트 생성 중심을 넘어, 음성과 같은 다양한 형태의 데이터를 자연스럽게 생성하고 제어하는 방향으로 발전하고 있습니다. 특히 짧은 참조 음성만으로 특정 화자의 음색을 반영하거나, 여러 언어로 자연스러운 음성을 생성할 수 있는 TTS 모델이 등장하면서 음성 콘텐츠 제작과 AI 서비스 활용 범위가 점차 넓어지고 있습니다.

이러한 흐름 속에서 샤오미는 다국어 음성 생성과 제로샷 보이스 클로닝을 지원하는 오픈소스 음성 합성 모델인 OmniVoice를 공개했습니다. OmniVoice는 600개 이상의 언어 지원, 참조 음성 기반 음색 반영, Voice Design 기능 등을 제공하며, 연구용 실험뿐 아니라 실제 음성 기반 서비스 개발에서도 활용 가능성을 보여주는 모델입니다.

이번 포스팅에서는 샤오미가 오픈소스로 공개한 OmniVoice모델 소개와 로컬 환경에서의 실제 구동 성능과 라이선스 주의사항 등에 대해 알아보겠습니다.

---

반응형

OmniVoice 모델이란

OmniVoice는 2026년 5월 7일, 샤오미(Xiaomi) AI Lab에서 공개한 차세대 오픈소스 음성 생성 모델입니다. 이 모델은 전 세계 수백 개의 언어를 하나의 아키텍처 내에서 통합 처리하는 '옴니링구얼(Omnilingual)' 환경을 목표로 설계되었습니다.

기존의 TTS 시스템이 특정 언어나 화자에 종속되었던 것과 달리, OmniVoice는 방대한 다국어 데이터를 학습하여 언어 간 경계를 허물었습니다. 특히 누구나 자신의 목소리를 단 몇 초의 샘플만으로 복제할 수 있는 기술을 오픈소스로 제공함으로써, AI 음성 서비스의 문턱을 낮추고 개인화된 콘텐츠 제작의 새로운 가능성을 열었다는 평가를 받고 있습니다.

 

• OmniVoice 소개 페이지 : https://zhu-han.github.io/omnivoice/

출처: OmniVoice 소개 페이지 (클릭시 페이지 이동)

 

[모델 정보 요약]

항목	내용
모델명	OmniVoice
개발사	Xiaomi AI Lab
모델 유형	음성 합성 모델(TTS / Speech Generation)
파라미터 구조	공식 문서 기준 명확한 전체 파라미터 수 미기재
아키텍처	Diffusion Language Model 기반 Discrete Non-Autoregressive 구조
지원 입력(Input)	텍스트, 참조 음성, 화자 속성
지원 출력(Output)	음성
주요 특징	- 600개 이상 언어 지원 - 제로샷 보이스 클로닝 지원 - Voice Design 기능 지원 - 비언어 표현 제어 지원 - 발음 보정 지원 - 빠른 추론 속도(RTF 0.025 수준)
라이선스	Apache-2.0
모델 경로	Hugging Face 제공

 

 

주요 특징

OmniVoice는 기술적으로 Diffusion Language Model 기반의 비자기회귀(Non-Autoregressive) 구조를 채택하여 성능과 효율성을 동시에 잡았습니다. 핵심적인 특징은 다음과 같습니다.

• 압도적인 다국어 커버리지 (600+ 언어): 한국어, 영어, 중국어를 포함하여 전 세계 600개 이상의 언어를 지원합니다. 이는 주류 언어뿐만 아니라 데이터가 부족한 저자원 언어에서도 안정적인 음성 합성이 가능함을 의미합니다.
• 초고속 실시간 추론 (RTF 0.025): 병렬 처리에 최적화된 구조 덕분에 RTF(Real-Time Factor) 0.025라는 경이로운 속도를 기록했습니다. 이는 1분 길이의 음성을 생성하는 데 단 1.5초 내외면 충분하다는 뜻으로, 실시간 상담 에이전트나 스트리밍 서비스에 적합합니다.
• 고도화된 제로샷(Zero-shot) 클로닝: 별도의 미세 조정(Fine-tuning) 학습 없이도, 처음 듣는 화자의 짧은 음성 샘플만으로 그 사람의 음색과 말투를 즉시 재현해냅니다.
• 정교한 보이스 디자인(Voice Design): 참조 음성이 없더라도 텍스트 설명을 통해 성별, 연령대, 목소리 톤을 새롭게 '디자인'할 수 있습니다. 예를 들어 "차분한 40대 남성의 목소리"와 같은 설정이 가능합니다.
• 풍부한 감정 및 비언어적 표현: 단순한 텍스트 낭독을 넘어 웃음, 숨소리 등 비언어적 요소를 제어할 수 있어, 훨씬 더 인간적이고 생동감 넘치는 음성을 결과물로 얻을 수 있습니다.

 

 

라이선스 

OmniVoice는 Hugging Face 및 GitHub를 통해 Apache 2.0 License로 공개되어 있습니다. 이 라이선스는 연구 목적뿐 아니라 상업적 활용까지 허용하는 오픈소스 라이선스로, 개인 프로젝트부터 기업 서비스까지 다양한 환경에서 활용할 수 있는 구조를 제공합니다. 또한 모델을 수정하거나 파생 모델을 만들고, 필요한 조건을 지키는 범위에서 재배포하는 것도 가능합니다.

Apache 2.0 License의 주요 특징은 다음과 같습니다.

• 연구 및 상업적 사용 모두 허용
• 모델 수정 및 파생 모델 생성 가능
• 재배포 및 배포 가능
• 라이선스 및 저작권 고지 유지 필요
• 특허 사용 권한(Patent Grant) 제공
• 개인, 기업, 서비스 환경에서 활용 가능

이 라이선스는 상업적 활용과 재배포를 명확하게 허용하면서도, 저작권 및 라이선스 고지 의무를 함께 요구합니다. 따라서 OmniVoice는 연구용 실험뿐 아니라 음성 콘텐츠 제작, 다국어 음성 서비스, 음성 에이전트 등 실제 서비스 환경에서도 검토하기 좋은 오픈소스 TTS 모델입니다. 다만 Apache 2.0 라이선스로 공개되어 활용 범위가 넓다고 하더라도, 음성 생성 모델의 특성상 사용 시 지켜야 할 윤리적 기준과 주의사항은 반드시 함께 고려해야 합니다.

 

 

주의사항

OmniVoice는 강력한 음성 생성 및 보이스 클로닝 기능을 제공하는 모델이므로, 사용 시 책임 있는 활용이 요구됩니다. 특히 공개 페이지에서는 승인되지 않은 음성 복제, 타인 음성 사칭, 사기, 스캠, 기타 불법적이거나 비윤리적인 활동에 이 모델을 사용하는 것을 엄격히 금지한다고 안내하고 있습니다.

본 모델 사용 시 준수해야 할 주요 사항은 다음과 같습니다.

• 승인되지 않은 보이스 클로닝 및 타인 음성 사칭 금지
• 사기, 스캠, 허위 정보 생성 등 악의적 사용 금지
• 적용 지역의 법률, 규정, 윤리 기준 준수
• 음성 생성 대상자의 동의와 권리 보호
• 생성된 음성 콘텐츠의 오용 방지
• 책임 있는 AI 개발 및 활용 원칙 준수

또한 개발자는 모델 오용으로 인해 발생하는 문제에 대해 책임을 지지 않는다고 명시하고 있습니다. 따라서 OmniVoice를 활용할 때는 기술적 가능성만 고려하기보다, 음성 권리와 법적 기준, 사용자 혼동 가능성까지 함께 검토해야 합니다. 이러한 기준을 준수함으로써 모델의 기능을 안전하고 신뢰 가능한 방식으로 활용할 수 있습니다.

 

 

---

 

간단한 사용 예시

OmniVoice는 텍스트를 자연스러운 음성으로 변환하거나, 짧은 참조 음성을 기반으로 특정 화자의 목소리를 반영한 음성을 생성하는 데 활용할 수 있는 다국어 제로샷 TTS 모델입니다. 웹 기반 데모부터 구글 코랩, 로컬 GPU 실행까지 여러 방식으로 사용할 수 있으며, 목적에 따라 간단한 테스트부터 실제 서비스 개발까지 확장할 수 있는 구조를 제공합니다.

이번 예시에서는 1) 허깅페이스 데모 페이지, 2) 구글 코랩에서 사용하기, 3) 로컬 GPU 기반 실행으로 나누어 살펴보겠습니다. 허깅페이스 데모는 설치 없이 모델의 동작을 확인하는 데 적합하며, 구글 코랩은 로컬 환경을 구성하지 않고 GPU 기반 테스트를 진행하는 데 유용합니다. 로컬 실행은 서비스 연동이나 세부 커스터마이징이 필요한 경우에 적합합니다.

 

1. 허깅페이스 데모 페이지에서 바로 사용

OmniVoice는 허깅페이스 데모 페이지를 통해 별도의 설치 없이 바로 테스트할 수 있습니다. 브라우저에서 생성할 텍스트를 입력하고 언어를 선택한 뒤, 필요에 따라 짧은 참조 음성을 업로드하면 해당 음색을 반영한 음성 결과를 생성할 수 있습니다. 모델의 다국어 음성 생성, 보이스 클로닝, 음성 디자인 기능을 빠르게 확인하는 데 적합한 방식입니다.

• 특징: 설치 없이 즉시 사용 가능, 웹 기반 인터페이스, 빠른 테스트 가능
• 비용: 무료 또는 사용량 기반이며, 허깅페이스 스페이스 운영 상태와 정책에 따라 달라질 수 있음
• 활용: 음성 생성 품질 확인, 보이스 클로닝 테스트, 다국어 TTS 기능 검증
• 경로: https://huggingface.co/spaces/k2-fsa/OmniVoice

출처: 허깅페이스 OmniVoice Demo 페이지 (클릭시 페이지 이동)

 

2. 구글 코랩에서 사용하기

OmniVoice는 공식 구글 코랩 노트북을 통해서도 사용할 수 있습니다. 코랩 환경에서는 별도의 로컬 설치 없이 노트북을 실행하면서 필요한 패키지를 설치하고, 모델을 불러와 텍스트 기반 음성 생성이나 참조 음성 기반 보이스 클로닝을 테스트할 수 있습니다. 로컬 GPU가 없는 사용자가 모델의 기본 사용 흐름을 확인하기에 적합한 방식입니다.

• 특징: 로컬 환경 구성 없이 실행 가능, 코랩 GPU 활용 가능, 단계별 테스트 가능
• 비용: 무료 또는 Colab Pro 등 사용 환경에 따라 상이
• 사용 환경: Google Colab, Python 노트북, GPU 런타임 권장
• 활용: 모델 설치 과정 확인, 기본 API 테스트, 데모 코드 실행, 초기 실험
• 경로: https://colab.research.google.com/github/k2-fsa/OmniVoice/blob/master/docs/OmniVoice.ipynb

출처: OmniVoice Colab 페이지 (클릭시 페이지 이동)

 

3. 로컬 GPU 기반 실행

OmniVoice는 Python 라이브러리, CLI, GitHub 저장소를 기반으로 로컬 환경에서도 직접 실행할 수 있습니다. Windows와 macOS 환경에서 모두 사용할 수 있으며, 원활한 추론을 위해서는 GPU 기반 실행 환경을 권장합니다. 이번 테스트에서는 Windows 환경에서 모델을 설치하고 실행하는 흐름을 기준으로 살펴보겠습니다.

모델과 필요한 패키지를 설치한 뒤 Python API 또는 명령줄 도구를 사용해 음성 생성 작업을 수행할 수 있으며, 참조 음성을 활용한 보이스 클로닝과 화자 속성 기반 Voice Design 기능을 보다 자유롭게 실험할 수 있습니다. 공식 저장소에서는 설치, Quick Start, Python API, Command-Line Tools 항목을 제공하고 있어, 웹 데모보다 세부 설정과 커스터마이징이 필요한 경우 로컬 실행 방식이 적합합니다.

• 특징: 로컬 GPU 활용 가능, 세부 제어 및 커스터마이징 가능, 서비스 연동에 적합
• 비용: 보유 GPU 또는 클라우드 GPU 사용 비용 기준
• 사용 환경: Python 환경, GPU 기반 추론 환경 권장
• 활용: 음성 서비스 개발, 다국어 음성 생성 시스템 구축, 보이스 클로닝 기능 테스트, 맞춤형 음성 생성
• 모델 경로: https://huggingface.co/k2-fsa/OmniVoice/tree/main

 

[패키지 설치]

로컬 환경에서 모델을 실행하기 위해서는 아래 패키지 파일을 설치해야합니다. Windows PowerShell에서 아래 명령어를 통해 설치할 수 있습니다.

# Windows PowerShell
pip install omnivoice
pip install torch==2.7.1 torchaudio==2.7.1 --index-url https://download.pytorch.org/whl/cu126

 

[간단한 예시 코드 ]

from omnivoice import OmniVoice
import soundfile as sf
import torch

# Load the model
model = OmniVoice.from_pretrained(
    "Path/to/OmniVoice",  # 사용자 환경에 맞게 수정
    device_map="cuda:0",
    dtype=torch.float16
)

# Generate audio
audio = model.generate(
    text="안녕하세요, 마커스 블로그에 오신 것을 환영합니다.",	# 생성할 음성 문장
    ref_audio="Path/to/OmniVoice/audio/part_3.wav",  			# 참조 음성 파일 경로
    ref_text="Test",  											# 참조 음성의 실제 발화 내용
) # audio is a list of `np.ndarray` with shape (T,) at 24 kHz.

sf.write("out.wav", audio[0], 24000)

 

[실행 결과]

이번 테스트는 Windows 로컬 GPU 환경에서 OmniVoice를 실행해 음성 생성 결과를 확인하는 방식으로 진행했습니다. 테스트 과정에서는 짧은 참조 음성과 생성할 텍스트를 입력한 뒤, Python API를 통해 WAV 형식의 음성 파일을 생성했습니다.

실행 결과, GPU VRAM 사용량은 약 3.8GB 수준으로 확인되었으며, 음성 생성은 10초 이내에 완료되었습니다. 대형 음성 생성 모델이라는 점을 고려하면 비교적 부담이 크지 않은 수준의 VRAM 사용량이며, 로컬 환경에서도 테스트와 간단한 음성 생성 작업을 진행하기에 무리가 없는 편입니다.

생성 속도 측면에서도 짧은 문장 기준으로 10초 이내에 결과가 출력되어, 웹 데모가 아닌 로컬 실행 환경에서도 빠르게 모델의 동작을 확인할 수 있었습니다. 다만 실제 서비스 환경에서는 입력 문장의 길이, 참조 음성 길이, GPU 성능, 배치 처리 여부에 따라 생성 속도와 VRAM 사용량이 달라질 수 있습니다.

정리하면, OmniVoice는 Windows 로컬 GPU 환경에서도 비교적 낮은 VRAM 사용량으로 실행 가능했으며, 짧은 문장 생성 기준에서는 빠른 응답 속도를 보여주었습니다. 따라서 개인 테스트, 음성 샘플 제작, 다국어 TTS 기능 검증과 같은 초기 실험 환경에서는 충분히 활용 가능한 모델이라고 볼 수 있습니다.

 

---

 

OmniVoice는 샤오미 AI Lab이 선보인 혁신적인 다국어 음성 생성 모델로, 600개 이상의 언어를 통합 지원하며 제로샷 보이스 클로닝과 정교한 보이스 디자인 기능을 제공합니다. 특히 비자기회귀 Diffusion 구조를 통해 고성능과 효율성을 동시에 확보하여, 단순한 텍스트 변환을 넘어 실제 서비스 환경에서 즉시 활용 가능한 오픈소스 TTS의 새로운 기준을 제시하고 있습니다.

 

실제 로컬 환경 테스트 결과, OmniVoice는 일반적인 소비자용 GPU에서도 원활하게 구동될 만큼 뛰어난 리소스 효율성과 빠른 처리 속도를 증명했습니다. Apache 2.0 라이선스로 상업적 활용의 문턱까지 낮춘 만큼, 차세대 음성 서비스를 고민하는 개발자와 크리에이터들에게 매우 실용적이고 강력한 선택지가 될 것입니다. 다만, 강력한 음성 복제 기능을 다루는 만큼 윤리적 가이드라인을 준수하는 책임감 있는 활용을 당부드리며, 지금 바로 데모나 코랩을 통해 그 놀라운 성능을 직접 경험해 보시길 권장합니다.

 

 

감사합니다. 😊