VDN-MiniMax-H3：8步生成14秒高清视频的开源加速方案

2026-09-15 12:32 7 阅读

VDN-MiniMax-H3 是什么

VDN-MiniMax-H3 是 OpenVDN 团队开源的一个视频生成加速方案，基于 MiniMax-H3 模型改造而来。它的核心目标很明确：在大幅缩短生成时间的同时，尽量不牺牲画质。

实测数据显示，在 8 张 NVIDIA B200 GPU 上，该方案仅需 11.23 秒就能生成一段约 14.4 秒、分辨率为 768p 的视频。更关键的是，这段视频的视觉质量与原始 MiniMax-H3 使用 50 步去噪生成的结果“近乎无损”——这意味着用户几乎看不出差别。

这个成果不是靠简单砍步骤实现的，而是通过一套系统性的架构改造和训练策略完成的。它不是一个通用插件，而是专门为 MiniMax-H3 量身定制的优化方案。

核心技术：混合注意力与 Video Delta Attention

VDN-MiniMax-H3 最大的创新在于其混合注意力架构。传统视频扩散模型在处理长视频时，注意力计算复杂度会随着帧数和分辨率急剧上升（通常是二次方增长），这成了速度瓶颈。

为了解决这个问题，VDN 把原本统一的注意力机制拆成了两个互补的分支：

局部 Softmax 分支：负责处理精细的细节。它采用双向滑动窗口，每 5 帧为一组，重点关注邻近的帧块。为了保证整个视频的时间连贯性，这个分支还会把视频的第一帧和最后一帧作为“边界锚点”引入计算。这种设计只增加了 3.57% 的计算量，却有效维持了全局时序一致性。
远距离线性分支：负责处理长程上下文关系。它使用一种叫 Video Delta Attention (VDA) 的技术，将传统的逐 token 更新方式升级为逐帧联合求解。简单说，就是让一帧内所有的空间 token 共同决定这一帧的新状态。这种方法天然不会导致信息“扩张”，还能自适应地处理不同 token 之间的相关性，不需要硬性地对帧大小进行缩放。

这两个分支一个管“近”，一个管“远”，一个保细节，一个顾大局，共同替代了原来那个又慢又贵的全量二次方注意力。

训练策略：三阶段平稳适配

光有新架构还不够，如果直接把新模块塞进一个已经训练好的大模型里，很容易“崩坏”——生成结果可能变得模糊、失真或完全跑偏。

为了避免这种情况，VDN 团队设计了一套三阶段训练适配流程，全程冻结预训练的主干网络，只微调新增的部分：

逐层对齐：先单独训练线性分支，让它学会模仿原始 Dense H3 模型对应层的输出。
端到端分支适配：把两个分支都接上，进行端到端的联合优化，让它们学会协同工作。
LoRA 联合适配：最后，引入轻量级的 LoRA（Low-Rank Adaptation）模块，对 Q、K、V、O 矩阵进行微调，并与线性分支一起进行最终的联合优化。

Loomy

这套流程像搭积木一样，一步步把新东西稳稳地装上去，确保了最终生成质量的稳定性。

加速的关键：8步蒸馏与高效并行

除了架构创新，VDN-MiniMax-H3 的速度优势还来自两个方面：少步蒸馏和高效并行。

首先是8步蒸馏。团队采用了 DMD2（一种先进的蒸馏方法），将原本需要 50 步才能完成的去噪过程，压缩到了仅仅 8 步。这是实现 74.5 倍加速比的核心原因之一。

其次是分支专用并行。在多 GPU 推理时，VDN 没有采用标准的 Ulysses 并行策略，而是将计算密集型的 Softmax 分支和线性复杂的 VDA 分支分配到不同的 GPU 上执行。这种针对性的并行策略，比标准方案又额外降低了 13.3% 的延迟。

此外，文本提示的注入也做了优化。在 Softmax 分支中，文本对每一帧都是全局可见的；而在 VDA 分支中，文本信息在初始化时就被一次性“写入”到双向状态中，避免了在每一步都重复计算文本-视频的交互，进一步节省了开销。

如何使用 VDN-MiniMax-H3

对于开发者来说，使用这个开源项目并不复杂。

首先，需要准备好环境。克隆官方 GitHub 仓库后，创建一个 Python 3.12 的虚拟环境，并安装指定版本的 PyTorch（2.13.0）和项目依赖。

接着，从 ModelScope 或 HuggingFace 下载 OpenVDN/vdn-minimax-h3 的模型权重，放到本地的 ckpts 目录下。

项目提供了非常清晰的脚本示例：

如果只是想快速体验，可以直接运行 scripts/inference/8nfe_tuned_fp8.sh，用单张显卡生成官方示例视频。
如果有 8 卡 H200 或 B200 集群，则可以分别运行对应的 8nfe_tuned_fp8_ulysses_h200.sh 或 b200.sh 脚本来发挥全部性能。

对于自定义提示词，项目提供了一个 encode_prompt.py 工具，它会调用 Qwen3-VL-32B 模型将你的文本描述编码成 .pt 特征文件。然后，把这个文件传给 infer.py 就能生成你想要的视频了。

与竞品 Sparse VideoGen2 (SVG2) 的对比

目前另一个知名的视频生成加速方案是 Sparse VideoGen2 (SVG2)。两者思路完全不同。

VDN-MiniMax-H3 是深度定制的路线。它对 MiniMax-H3 的内部架构进行了根本性改造，并投入了训练成本（三阶段适配）。换来的是极致的性能：在 8 张 B200 上，11 秒多生成 14 秒视频，加速比高达 74.5 倍。

而 SVG2 走的是通用插件路线。它是一个训练无关的稀疏注意力框架，通过语义聚类和动态预算控制，在推理时识别并只计算关键的 token。它的最大优势是零训练成本，可以即插即用地用于 HunyuanVideo、Wan 2.1 等多种 DiT 模型。但代价是加速效果相对温和，例如在 H100 上生成 5 秒视频仍需约 13 分钟，加速比在 1.9x 到 2.3x 之间。

简单来说，如果你的目标是榨干 MiniMax-H3 的全部潜力，追求极限速度，VDN 是更好的选择。如果你手上有多个不同来源的视频模型，希望有一个通用的加速工具，那么 SVG2 更合适。