CosyVoice AIツール

概要

CosyVoiceは、中国アリババグループのAI研究チーム「FunAudioLLM」が開発した、オープンソースの多言語テキスト読み上げ（TTS）モデルです。2024年7月に初版が公開され、2025年12月にはさらに進化した最新版「Fun-CosyVoice 3.0（CosyVoice3）」がリリースされました。コードもモデルもApache-2.0ライセンスで公開されており、個人・商用を問わず無料で利用できます。

CosyVoice 3が注目される最大の理由は、「ゼロショット音声クローン（サンプル音声なしでも話者の声を真似る技術）」の精度と対応言語の広さです。3〜10秒の短い音声サンプルを渡すだけで、まるでその人が読んでいるかのような音声を生成できます。学習データを1万時間から100万時間に拡大し、9言語・18以上の中国語方言をカバー。強化学習（AIが試行錯誤しながら自分で性能を改善する仕組み）によって、人間の発話に迫る自然さを実現しています。

主な機能

• ゼロショット音声クローン（声のコピー）

3〜10秒の参照音声を渡すだけで、モデルの追加学習なしに話者の声質・トーンを忠実に再現した音声を生成できます。録音サンプルさえあれば誰の声でも再現を試みることができます。

• 多言語・多方言対応

中国語・英語・日本語・韓国語・ドイツ語・スペイン語・フランス語・イタリア語・ロシア語の9言語と、広東語・四川語・上海語など18以上の中国語方言をネイティブサポートします。

• 言語をまたいだ声のコピー（クロスリンガルクローン）

日本語で録音した声を使い、英語や中国語の音声を生成するといった「言語の壁を超えた声の転写」が可能です。元の声の特徴を別の言語でも保持します。

• ストリーミング（リアルタイム）出力

テキストを受け取ってから最初の音声パケットを出力するまでの遅延（レイテンシ）が最短150msと非常に低く、チャットボットや音声アシスタントなどリアルタイム応答が必要なアプリにも組み込めます。

• 感情・抑揚のコントロール（インストラクションTTS）

「楽しそうに」「ゆっくり話して」のようなテキスト指示で声のトーン・感情・話速を細かく制御できます。ロールプレイやキャラクターボイスの制作にも活用可能です。

• 発音修正機能（プロナンシエーション・インペインティング）

多音字や専門用語など、AIが誤読しやすい単語をピンイン（中国語ローマ字）や英語音声記号（CMU Phonemes）で直接指定して正確な発音に上書きできます。医療・法律など専門用語が多い分野に特に有効です。

• WebUIとAPIサーバー同梱

ブラウザで操作できるグラフィカルなWebUI（Gradio製）と、アプリに組み込むためのFastAPI製サーバーが標準で付属しています。コードを書かなくても動作確認ができます。

料金プラン

> ⚠️ コードとモデルはApache-2.0ライセンスで無料公開されています。ただし商用利用の詳細な条件については、公式GitHubのライセンスファイルを必ずご確認ください。

導入方法

動作環境: Linux（Ubuntu / CentOS推奨）、Python 3.10、GPU（NVIDIA製を推奨）

① リポジトリをクローンする

git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
cd CosyVoice

② Python仮想環境を作成・依存ライブラリをインストール

conda create -n cosyvoice -y python=3.10
conda activate cosyvoice
pip install -r requirements.txt
# Ubuntu向けに音声処理ライブラリをインストール
sudo apt-get install sox libsox-dev

③ 学習済みモデルをダウンロード（HuggingFace経由）

python -c "
from huggingface_hub import snapshot_download
snapshot_download('FunAudioLLM/Fun-CosyVoice3-0.5B-2512',
                  local_dir='pretrained_models/Fun-CosyVoice3-0.5B')
"

④ WebUIを起動して動作確認

python3 webui.py --port 50000 --model_dir pretrained_models/Fun-CosyVoice3-0.5B

ブラウザで http://localhost:50000 を開くと操作画面が表示されます。参照音声（3〜10秒）をアップロードしてテキストを入力するだけで、音声が生成されます。

⑤ Pythonコードから使う場合の最小例

import sys
sys.path.append('third_party/Matcha-TTS')
from cosyvoice.cli.cosyvoice import AutoModel
import torchaudio

cosyvoice = AutoModel(model_dir='pretrained_models/Fun-CosyVoice3-0.5B')
for i, j in enumerate(cosyvoice.inference_zero_shot(
    '読み上げたいテキストをここに入力',
    '参照テキスト',
    './asset/zero_shot_prompt.wav',
    stream=False
)):
    torchaudio.save(f'output_{i}.wav', j['tts_speech'], cosyvoice.sample_rate)

こんな人におすすめ

• 音声コンテンツを自動で大量生成したい人

ブログ記事やシナリオをテキストで書いて、自分の声や好みのキャラ声で音声ファイルに変換したい個人クリエイター・ポッドキャスト制作者に最適です。

• 多言語対応のアプリ・サービスを作りたい人

9言語に対応しているため、インバウンド向け音声ガイドや語学学習アプリの読み上げ機能など、多言語音声が必要なプロダクト開発に活用できます。

• リアルタイム音声応答が必要なAIアプリを作りたい人

150msという低レイテンシのストリーミング生成に対応しているため、AIチャットボットや音声アシスタントに音声出力機能を組み込みたい開発者に向いています。

• コストゼロで本格的なTTSエンジンを自前で持ちたい人

商用APIを使わずに高品質な音声合成を自分のサーバーで動かしたい人、またはオフライン環境でTTSを使いたい人にとって、完全無料・ローカル動作のCosyVoiceは強力な選択肢です。

よくある質問

Q. 声のクローンに必要な音声はどのくらいの長さですか？ A. 公式の仕様では3〜10秒の参照音声があれば動作します。追加の学習（ファインチューニング）は不要で、その場で声の特徴を読み取って生成します。

Q. Windowsでも動きますか？ A. 公式はLinux（Ubuntu / CentOS）を推奨しています。Windowsでは音声処理ライブラリ「sox」がネイティブに動作しないため、WSL2（Windows上でLinuxを動かす仕組み）の利用が推奨されています。

Q. GPUがないパソコンでも使えますか？ A. CPU（GPUなし）でも動作しますが、音声生成にかなりの時間がかかります。快適に使うにはNVIDIA製GPUを搭載した環境が推奨されています。

Q. 生成した音声を商用サービスに使えますか？ A. コードはApache-2.0ライセンスで公開されており、商用利用が認められています。ただし、モデルの利用条件や倫理的なガイドラインについては必ず公式GitHubのライセンスファイルと利用規約を確認してください。