近期，阶跃星辰发布了全球首个开源 LLM 级音频编辑大模型 —— Step-Audio-EditX。
该模型能够通过语言指令或迭代方式，精准控制音频的情感、说话风格和副语言特征，并实现 零样本文本转语音（Zero-Shot TTS）。

不同于以往依赖多模块拼接的方案，Step-Audio-EditX 采用统一的 LLM 框架，让“文字驱动音频创作”真正变为现实。

开源信息

• 开源协议：Apache 2.0
• Github：https://github.com/stepfun-ai/Step-Audio-EditX
• Model：https://www.modelscope.cn/models/stepfun-ai/Step-Audio-EditX
• Technical Report：https://www.modelscope.cn/papers/2511.03601
• 使用提示:

模型与部分训练数据可自由研究与非商用使用，商用需遵守对应授权条款。

01项目概览

• 项目名称：Step-Audio-EditX
• 开发团队：StepFun（阶跃星辰）
• 项目类型：开源 LLM 级音频编辑与合成模型
• 主要功能：• 零样本文本转语音（Zero-Shot TTS）• 音频情感与风格编辑• 副语言特征控制（呼吸、笑声、叹息、语气等）• 多语言与方言支持（中文、英文、四川话、粤语等）
• 在线体验：http://stepaudiollm.github.io/step-audio-editx

02技术架构

Step-Audio-EditX 的核心设计可概括为三部分：

 

音频分词器（Tokenizer）

使用“双码本”结构，将音频分解为离散 token：

• • 语言码本：1024 项，16.7 Hz 采样频率；
• • 语义码本：4096 项，25 Hz 采样频率。

这种双路径分词方式让模型能同时捕捉语言内容与声学细节。

音频大语言模型（Audio LLM）

在音频 token 与文本 token 的联合输入下生成目标音频 token，参数约 3 B。
它的输入格式类似聊天框：“文本 + 音频”，输出即为新音频的 token 序列。

解码器（Decoder）

通过 Flow Matching 模块生成 Mel 谱图，并由 BigVGAN v2 声码器合成音频。
这一流程让音频生成质量与真实录音相近，且可控性极强。

 

03核心亮点

多维度情感与风格控制

Step-Audio-EditX 可以通过简单的指令控制音频的：

• • 情感：愤怒、喜悦、悲伤、恐惧、惊讶、厌恶等
• • 说话风格：夸张、认真、孩童、低语、年长、俏皮等
• • 副语言元素：呼吸声、笑声、叹息、语气词（嗯、唉、哎呀等）

更重要的是，它支持 迭代式编辑——可在原音基础上多轮微调，实现自然、可累积的情感强化。

零样本 TTS（Zero-Shot TTS）

无需录音样本，仅凭参考音频或风格描述，即可生成新语音。
例如：

“将这段话改为粤语，带一点俏皮语气。”

即可立刻输出对应版本的音频。
模型支持中英双语及多方言，让 TTS 真正实现“所写即所听”。

大规模合成数据训练

与传统模型依赖复杂的音频先验模块不同，Step-Audio-EditX 使用 大边距合成数据（Large-Margin Synthetic Data） 训练，直接通过属性差异拉大（如“同文本、异情感”样本）实现情感与风格的解耦学习。

这一策略让模型具备天然的“可控”特性，能够理解并执行复杂的语音编辑指令。

 

04训练与部署

• 模型规模：约 3 B 参数
• 推荐硬件：单卡 32 GB GPU 即可运行（提供 Int8 量化版）
• 采样率：41.6 kHz
• 部署方式：
  • • 支持 Docker 镜像部署
  • • 支持本地命令行推理
  • • 提供 Gradio 网页 Demo

示例命令

零样本语音生成：

python3 tts_infer.py \
  --model-path ./models \
  --prompt-text "今天的天气真不错！" \
  --prompt-audio ./ref.wav \
  --generated-text "我们一起去公园吧。" \
  --edit-type "clone"

情感编辑：

python3 tts_infer.py \
  --model-path ./models \
  --prompt-audio ./voice.wav \
  --edit-type "emotion" \
  --edit-info "sad" \
  --n-edit-iter 2

 

05性能表现

官方报告显示，Step-Audio-EditX 在以下方面表现突出：

 

• 情感与风格控制的准确率优于闭源模型（如 MiniMax-2.6-hd、Doubao-Seed-TTS 2.0）；

• 多轮迭代能显著提升输出音频的自然度与表达力；

• 对外部音频的副语言插入任务泛化良好，可编辑闭源语音素材。

 

模型链接：https://www.modelscope.cn/models/stepfun-ai/Step-Audio-EditX