腾讯开源视频大模型 HunyuanVideo：核心技术与上手指南

是什么

HunyuanVideo 是由 Tencent Hunyuan 打造的开源视频基座模型，专注于根据输入的文本生成高质量的视频内容。该模型参数量突破 130 亿（13B）——即决定模型如何推理并输出结果的核心内部权重。根据项目文档，它是发布时开源领域参数规模最大的视频生成模型。该项目通过对外公开模型权重、推理代码和技术定义，致力于缩小闭源商业系统与开源社区研究之间的能力断层。

在技术底层，HunyuanVideo 采用了统一的 Transformer 架构，并借助 Full Attention 机制同时兼顾图像与视频生成。如果直接在标准像素空间逐帧处理高分辨率视频，所消耗的算力将难以承担。为了让大规模视频生成切实可行，HunyuanVideo 选择在紧凑的潜空间（Latent Space）数学环境中执行计算。

这种压缩过程由基于 CausalConv3D（因果三维卷积）打造的定制 3D VAE（3D Variational Autoencoder）负责实现，主要在三个核心维度对数据进行压缩：

• 视频时间维度压缩 4 倍。
• 空间维度（高度与宽度）压缩 8 倍。
• 颜色通道信息压缩 16 倍。

通过大幅削减模型处理的视觉 Token（像素块的离散化表示）数量，系统得以在不产生过重显存负担的前提下，以原生分辨率和帧率完成视频的训练与生成。

为了协同处理提示词指令与视觉数据，HunyuanVideo 运用了“双流转单流”（dual-stream to single-stream）的混合框架：

• 双流阶段： 来自提示词的文本 Token 与来自视频潜空间的视觉 Token 首先进入各自专用的 Transformer 模块。这确保了文本语义和视觉信息能够独立构建内部调制模式，彼此互不干扰。
• 单流阶段： 随后，视觉与文本 Token 会被拼接成统一序列，送入后续的 Transformer 模块。模型借助深层的多模态融合，精确捕捉画面视觉结构与描述关键词之间细致复杂的交互关系。

HunyuanVideo 摒弃了传统的 CLIP 与 T5-XXL 编码器组合，转而采用具备 Decoder-only 结构的预训练多模态大语言模型（MLLM）。项目表示，这种 MLLM 方案能够带来更清晰的图像细节辨识力、更稳健的多步推理表现以及更精准的图文对齐效果。针对 MLLM 的单向因果注意力（不同于双向模型），HunyuanVideo 额外引入了双向 Token 精炼器（bidirectional token refiner），为扩散生成链路提供更加均衡协调的文本引导。

能做什么

HunyuanVideo 是一个文生视频生成引擎，能够将书面语言转化为连贯流畅的动态视觉场景。除了核心的文生视频能力外，整个项目生态还包含多项专属功能与社区拓展：

• 提示词改写（Prompt Rewriting）： 用户撰写的提示词在描述质量和长度上往往参差不齐。为了将提示词调整为扩散模型最青睐的格式，仓库中内置了一个微调版本的 Hunyuan-Large 模型。该改写工具支持两种运行模式：
  • 普通模式（Normal mode）： 生成更明确清晰的提示指令，强化模型对用户核心意图的理解。
  • 大师模式（Master mode）： 扩充镜头运镜、光影特效与画面构图等风格化细节，最大限度提升成片的视觉美感；不过文档也提到，该模式有时可能会略过某些特定的语义细节。
• 图像动画与个性化定制（Image Animation and Customization）： 除基础文生视频外，仓库规划路线图还涵盖用于图生视频的 HunyuanVideo-I2V、用于多模态引导个性化生成的 HunyuanCustom，以及用于音频驱动数字人动画的 HunyuanVideo-Avatar。
• 高效推理与格式支持（Efficient Inference and Formats）： 项目支持利用 xDiT 库在多张 GPU 上实现序列并行推理，已官方接入 Hugging Face Diffusers，提供基于 Gradio 的交互式 Web 界面，并支持 8 位浮点（FP8）量化权重以降低显存开销。
• 社区生态集成（Community Integrations）： 项目文档列举了丰富的社区工具生态，包括 ComfyUI 封装脚本、原生 ComfyUI 节点、以 FastVideo 为代表的蒸馏加速方案、GGUF 量化格式、用于关键帧控制的 LoRA 模块，以及 TeaCache 和 NaviCache 等缓存加速组件。

项目 README 显示，在由 60 多位专业评测人员对 1,533 个文本提示词展开的对比评测中，HunyuanVideo 在与多个闭源商业模型的横向对比中综合排名第一。项目 README 披露的数据表明，HunyuanVideo 取得了 41.3% 的综合评分，并在文本对齐度（61.8%）、动态质量（66.5%）和视觉质量（95.7%）上，表现优于 Runway Gen-3 alpha、Luma 1.6 以及三款国内领先的商业模型（CNTopA、CNTopB 与 CNTopC）。项目同时注明，该评测基于高画质模型配置展开，而非发布的快速版本。

怎么开始

在本地部署 HunyuanVideo，需要准备 Linux 操作系统、支持 CUDA 的 NVIDIA GPU，以及通过 Conda 管理的 Python 运行环境。

首先，使用 Git 克隆代码仓库：

git clone https://github.com/Tencent-Hunyuan/HunyuanVideo
cd HunyuanVideo

随后配置 Conda 环境，并安装 PyTorch 及相应的 Python 依赖。项目推荐搭配 CUDA 12.6 或 CUDA 11.8：

# 1. Create conda environment
conda create -n HunyuanVideo python==3.10.9

# 2. Activate the environment
conda activate HunyuanVideo

# 3. Install PyTorch
# For CUDA 11.8
pip install torch==2.7.1 torchvision==0.22.1 torchaudio==2.7.1 --index-url https://download.pytorch.org/whl/cu118
# For CUDA 12.6
pip install torch==2.7.1 torchvision==0.22.1 torchaudio==2.7.1 --index-url https://download.pytorch.org/whl/cu126

# 4. Install pip dependencies
python -m pip install -r requirements.txt

# 5. Install flash attention v2 for acceleration (requires CUDA 11.8 or above)
python -m pip install ninja
python -m pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.8.3

# 6. Install xDiT for parallel inference (It is recommended to use torch 2.7.1 and flash-attn 2.8.3)
python -m pip install xfuser==0.4.0

若在配置过程中遇到浮点异常（floating-point exception）或核心转储（core dump），项目仓库也提供了预先构建好的 Docker 镜像：

# For CUDA 12.4 (updated to avoid float point exception)
docker pull hunyuanvideo/hunyuanvideo:cuda_12
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_12

# For CUDA 11.8
docker pull hunyuanvideo/hunyuanvideo:cuda_11
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged

环境就绪后，用户可以从 Hugging Face 下载预训练模型权重，接着使用命令行调用推理脚本、在本地启动 Gradio 网页端演示，或是搭配 xDiT 执行多 GPU 并行生成。

价格与门槛

具体价格与方案以官方页面 https://aivideo.hunyuan.tencent.com 公布的信息为准。项目源码、推理脚本和预训练模型权重均在网络上公开发布，不过仓库元数据中的开源许可证字段注明为 NOASSERTION。

运行完整规模的基座模型需要相当高规格的算力储备：

• 操作系统： 经测试支持 Linux。
• 硬件架构： 必须配备支持 CUDA 驱动的 NVIDIA GPU。开发人员已在单张 80GB 显存的显卡上完成了验证。
• 显存需求（批处理大小 Batch Size = 1）：
  • 720p 分辨率（720x1280 像素，129 帧）： 峰值显存需求至少为 60GB。
  • 544p 分辨率（544x960 像素，129 帧）： 峰值显存需求至少为 45GB。
  • 推荐配置： 建议使用 80GB 显存的 GPU，以获得更理想的生成效果。
• 优化方案： 为照顾不同级别的硬件设备，项目提供了低显存占用的 FP8 精度权重，并支持借助 xDiT 实现多 GPU 序列并行。

适合谁

HunyuanVideo 主要面向在 AI 视频生成领域深耕的以下几类群体：

• AI 研究人员与机器学习工程师： 探索多模态基座模型、全注意力 Transformer 骨干以及时空自编码机制的研究人员，能够直接查看并研究这款 130 亿参数模型的公开权重与推理链路。
• 高性能算力运维团队： 拥有高显存企业级硬件（如 80GB 加速卡或多卡集群服务器），并希望搭建自建私有化视频生成方案的开发者、制作工作室及技术工程团队。
• 工具开发者与开源社区贡献者： 期望基于 Hugging Face Diffusers 或 ComfyUI 构建模块化视频生成工作流，将模型权重灵活嵌入自动化生产流程的技术集成人员。
• 技术型创作者与动画师： 熟练运用数字工具、渴望尝试高级提示词改写机制、图生视频拓展以及追求高保真视觉成片的进阶创作者。

替代品

Wan2.1 是托管在 GitHub 上的开源视频生成模型仓库。

LTX-Video 是由 Lightricks 推出的开源视频生成项目。

来源

• https://github.com/Tencent-Hunyuan/HunyuanVideo
• https://github.com/Wan-Video/Wan2.1
• https://github.com/Lightricks/LTX-Video