DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡

魔搭ModelScope社区

45人浏览 · 2026-10-15 16:37:53

魔搭ModelScope社区 · 2026-10-15 16:37:53 发布

DMAD 项目团队开源了用于联合音视频生成的 MiniMax-H3 4 步学生模型，同时发布面向图像、视频和音视频的少步蒸馏方法、训练与推理代码。

在 MiniMax-H3-33B 上，DMAD 将 50 步教师模型蒸馏为 4 步学生模型，减少生成过程中的去噪迭代次数，而不是将模型参数压缩为小模型。

该方法通过 critic（判别器）直接学习指导学生更新的分布差异，省去持续拟合学生分布的辅助扩散模型，并在 ImageNet、SDXL、Wan2.1 与 MiniMax-H3 上验证。

开源版本支持 1344×768 视频与 32 kHz 原生立体声音频，并提供 8 GB 显存消费级显卡可用的约 5 秒 ComfyUI 工作流。

开源地址：

代码仓库：
https://github.com/Yzmblog/DMAD
模型链接：
https://modelscope.cn/models/ZhengmingYu-Community/DMAD
项目主页与完整样例：
https://yzmblog.github.io/projects/DMAD/
论文链接：
https://arxiv.org/abs/2610.02188

效果展示

折纸龙飞越纸山

纸龙展开棱角分明的双翼，飞越一座座折纸山峰。该样例由 MiniMax-H3-33B 的 DMAD 4 步学生模型生成，属于联合音视频生成。

“Paper comes to life”样例的四个关键帧：

松鼠走出照片

手把松果放在照片旁，松鼠从纸上的树洞探出身，伸爪触碰松果。该样例由 MiniMax-H3-33B 的 DMAD 4 步学生模型生成，以照片与立体角色的互动组织动作序列。

“A story comes to life”样例的四个关键帧：

壁画前的街头交谈

壁画前，两名男子交谈，年轻人转头露出笑容。MiniMax-H3-33B 4 步音视频样例的官方提示词同时指定人物对白、城市环境声与背景音乐。

“Street conversation”样例的四个关键帧：

霓虹街道上的双犬

萨摩耶与金毛穿过霓虹街道，蓝紫色灯光映在毛发与路面上。该样例使用 Wan2.1-T2V-14B 的 DMAD 4 步学生模型，属于文生视频，不含生成音轨。

官网“After dark”样例的四个关键帧：

模型框架

DMAD（Distribution Matching as Adversarial Distillation，基于对抗蒸馏的分布匹配）解决的是扩散模型需要多次串行去噪的问题。它不要求学生逐条复现教师的采样轨迹，而是让少步学生生成的样本分布接近目标分布；

MiniMax-H3 版本沿用 33B 基座并通过 LoRA 训练，主要减少采样步数，而非压缩模型参数规模。

从分别估计两个分数到直接学习分布差异

DMD 的学生更新依赖目标分布与学生分布的 score（对数密度梯度）之差：教师提供目标 score，另一个辅助扩散模型持续追踪学生分布。DMAD 改为训练二分类判别器，区分目标样本和学生样本。

在理想最优判别器条件下，其 logit 等于两种分布的对数密度比；固定该判别器，对输入求梯度便能得到同一个 score 差，形成局部生成器更新方向上的等价。直观上，前者先估计两条路线再求差，后者直接学习该往哪儿修正，因此不再需要辅助 score 拟合。

共享骨干、双头监督

两个判别头共享特征骨干：教师头区分教师样本与学生样本，真实数据头区分真实样本与学生样本。判别器用二元交叉熵训练，学生则用两个 logit 的加权线性损失更新；更新学生时冻结判别器参数，但保留经过其输入的反向梯度。教师头和真实数据头承担不同监督目标，不是分别处理音频、视频的两个分支。

按噪声区间动态分配教师监督

教师样本与真实数据的差异并不在所有噪声水平上相同。DMAD 使用真实数据头在两类样本上的平均 logit 差作为经验信号，以衰减系数 0.99 的指数移动平均追踪各噪声区间；差距较小的区间获得更高教师权重。权重归一化后参与学生损失，但统计量和权重不参与反向传播。

离线教师样本，减少在线蒸馏负担

教师仅提供预生成并缓存的样本，训练时无需在线调用教师，也不再拟合学生 score。论文采用每次学生更新对应 1 次判别器更新，DMD2 对比配置为 5 次。在 4 张 H200、MiniMax-H3-33B rank-128 LoRA 配置下，每次学生更新及关联判别器更新耗时从 818.1 秒降至 233.3 秒，约为 3.51 倍训练更新加速。

模型使用

环境与显存配置

命令行推理按官方仓库使用 Python 3.12、CUDA 12.6 与固定版本的 PyTorch 和 Diffusers，需准备支持 CUDA 的 NVIDIA 显卡。低显存方案通过权重卸载与分块计算控制显存占用，并会使用较多系统内存；

ComfyUI 低显存工作流明确推荐 64 GB 系统内存。命令行所需基础模型文件约 170 GB，需预留足够磁盘空间；使用前请按基础模型页要求阅读并接受相应许可。

使用方式	显存配置	视频长度
ComfyUI 工作流	8GB	约5秒
ComfyUI 工作流	16GB及以上	约15秒
命令行低显存推理	8GB	约5秒
命令行低显存推理	12GB及以上	约15秒

以上配置均对应 1344×768 有声视频。低显存配置会使用较多系统内存，实际生成耗时取决于显卡、存储和具体设置；4 步描述的是去噪步数，不代表 4 秒完成生成。

安装环境

以下命令在 DMAD 仓库根目录运行。requirements.txt 已固定相关依赖；modelscope-hub 提供下载模型所用的 modelscope 命令。

git clone https://github.com/Yzmblog/DMAD.git
cd DMAD
 
conda create -n dmad_h3 python=3.12 -y
conda activate dmad_h3
 
python -m pip install \
 torch==2.11.0 torchvision==0.26.0 torchaudio==2.11.0 \
 --index-url https://download.pytorch.org/whl/cu126
 
python -m pip install -r requirements.txt
python -m pip install -U modelscope-hub

从魔搭下载模型

先下载 MiniMax-H3 命令行推理所需的基础模型，再下载 DMAD 的 4 步 LoRA。下面排除了本次命令行示例不使用的 FL2VA、Ref2VA 和 transformer_ref 分区。

modelscope download MiniMax/MiniMax-H3 \
  --local-dir ./models/MiniMax-H3 \
  --exclude "FL2VA/*" "Ref2VA/*" "transformer_ref/*"
 
modelscope download ZhengmingYu-Community/DMAD \
  --local-dir ./ckpt \
  --include "minimax_h3/dmad_minimax_h3_4step_lora_critic.safetensors"

8 GB 显存生成约 5 秒有声视频

先使用仓库提供的提示词跑通样例。下面采用 4 步、固定种子和 124 帧，在 24 fps 下约为 5.2 秒，并启用 8 GB 低显存配置。

python inference.py \
  --model-dir ./models/MiniMax-H3 \
  --lora ./ckpt/minimax_h3/dmad_minimax_h3_4step_lora_critic.safetensors \
  --prompt-file prompts/dmad_sweater.txt \
  --steps 4 --seed 42 \
  --height 768 --width 1344 --num-frames 124 \
  --low-vram 8 \
  --output-dir ./outputs/dmad_5s

输出目录包含有声视频 0000.mp4、提示词 0000.txt 和运行参数 settings.json。跑通后，可以在命令中换成自己的提示词文件。

12 GB 显存生成约 15 秒视频

使用至少 12 GB 显存时，将帧数设为 362，并启用 12 GB 低显存配置。其余设置保持 4 步与 1344×768，输出约 15.1 秒有声视频。

python inference.py \
  --model-dir ./models/MiniMax-H3 \
  --lora ./ckpt/minimax_h3/dmad_minimax_h3_4step_lora_critic.safetensors \
  --prompt-file prompts/dmad_sweater.txt \
  --steps 4 --seed 42 \
  --height 768 --width 1344 --num-frames 362 \
  --low-vram 12 \
  --output-dir ./outputs/dmad_15s

ComfyUI 工作流

如果习惯用 ComfyUI，可以使用现有 ComfyUI 环境，导入仓库中的 comfyui/workflows/dmad_h3_4step_5s_8gb_guitar.json。项目也提供嵌入了工作流的示例 MP4，可直接拖入 ComfyUI。按工作流中的链接下载基础模型，并通过 ComfyUI Manager 安装 H3-Optimizations 节点包。

ComfyUI 使用专用格式的 LoRA。例如，下面从魔搭下载 full_critic 的 ComfyUI 版本，下载后将文件放入 ComfyUI/models/loras/。

modelscope download ZhengmingYu-Community/DMAD \
  --local-dir ./ckpt \
  --include "minimax_h3/dmad_minimax_h3_4step_full_critic_comfyui.safetensors"

DMAD 的 8 GB ComfyUI 工作流，4 步生成约 5 秒、1344×768 有声视频：