README.Zh

<h1>Confucius4-TTS: 多语种跨语种零样本TTS</h1>
<p><b>一种音色，任意语言。</b></p>

git clone https://github.com/netease-youdao/Confucius4-TTS.git
cd Confucius4-TTS

conda create -n confuciustts python=3.10 -y
conda activate confuciustts

pip install -r requirements.txt

export HF_ENDPOINT=https://hf-mirror.com

python example.py \
    --prompt_wav path/to/reference.wav \
    --text "要合成的文本" \
    --lang zh \
    --out output.wav \
    --config config/inference_config.yaml

import torch
import torchaudio
from confuciustts.cli.inference import ConfuciusTTS

model = ConfuciusTTS(
    config_path="config/inference_config.yaml",
    device="cuda" if torch.cuda.is_available() else "cpu",
)

audio = model.generate(
    text="你好，欢迎使用 Confucius4-TTS。",
    lang="zh",
    prompt_wav="path/to/reference.wav",
    verbose=True,
)

torchaudio.save("output.wav", audio.cpu(), model.sample_rate)

# 1. 从基础环境克隆一个专用环境（继承 confuciustts 的依赖）
conda create -n confuciustts_vllm --clone confuciustts
conda activate confuciustts_vllm

# 2. 安装 vLLM 附加依赖
pip install -r requirements_vllm_add.txt

# 3. 运行 vLLM 示例（模型在首次运行时自动下载）
python example_vllm.py \
    --prompt_wav path/to/reference.wav \
    --text "要合成的文本" \
    --lang zh \
    --out output_vllm.wav

# 非流式：合成整段语音并保存为一个 .wav
python example_vllm.py \
    --prompt_wav path/to/reference.wav \
    --text "要合成的文本" \
    --lang zh \
    --out output_vllm.wav

# 流式：逐块生成（model.generate_stream），此处拼接为一个 .wav
python example_vllm.py \
    --prompt_wav path/to/reference.wav \
    --text "要合成的文本" \
    --lang zh \
    --out output_vllm_stream.wav \
    --stream

python webui.py --port 7860

python server.py --port 8000

# 非流式 → out.wav
curl -F "text=要合成的文本" -F "lang=zh" -F "reference=@path/to/reference.wav" \
     http://localhost:8000/api/tts -o out.wav

# 流式 → 原始 int16 PCM（22050 Hz，单声道），按 X-Sample-Rate 头播放
curl -F "text=要合成的文本" -F "lang=zh" -F "reference=@path/to/reference.wav" \
     http://localhost:8000/api/tts/stream -o out.pcm

# Wav2Vec2-BERT（说话人条件化 & 语义特征提取）
huggingface-cli download facebook/w2v-bert-2.0 \
    --local-dir pretrained/w2v-bert-2.0

# Amphion MaskGCT（语义编解码器实现）
git clone https://github.com/open-mmlab/Amphion.git external/Amphion

checkpoints/
├── t2s_model.safetensors        # T2S 预训练权重
├── s2a_model.pt                 # S2A 预训练权重
├── wav2vec2bert_stats.pt        # 语义特征归一化统计量
├── special_tokens_map.json      # 分词器文件
├── tokenizer.json
├── tokenizer.model
└── tokenizer_config.json
pretrained/
├── w2v-bert-2.0/                # Wav2Vec2-BERT 模型
└── campplus/
    └── campplus_cn_common.bin   # CAMPPlus 说话人编码器权重
external/
└── Amphion/                     # MaskGCT 语义编解码器实现

data:
  train_data_path:
    - data/train.tsv
  val_data_path:
    - data/val.tsv

paths:
  t2s_checkpoint: checkpoints/t2s_model.safetensors

python -m confuciustts.cli.train_t2s -c config/train_t2s.yaml

paths:
  t2s_checkpoint: checkpoints/t2s_model.safetensors
  s2a_checkpoint: checkpoints/s2a_model.pt   # 可选：从预训练 S2A 权重继续训练

python -m confuciustts.cli.train_s2a -c config/train_s2a.yaml

@misc{confucius4tts_2026,
  title        = {Confucius4-TTS: A Multilingual and Cross-Lingual Zero-Shot TTS Engine},
  author       = {{NetEase Youdao}},
  year         = {2026},
  howpublished = {\url{https://github.com/netease-youdao/Confucius4-TTS}},
  note         = {GitHub repository}
}