AI 视频生成原理详解：扩散 Transformer 与潜空间运动

AI 视频生成本质上是一个去噪过程。模型从一块静态噪声出发，由你的提示词引导，一步步把它"擦"成一段符合描述的短视频。其余一切——模型架构、参考图、分辨率——都是为了让这些去噪步骤在时间轴上互相配合的机器。

这篇文章是地图：讲清从文字到运动的完整管线，再链接到四个最影响成片质量的技术点——参考底板条件化、首帧布景、提示词扩张和分辨率阶梯。

太长不看版

• 视频模型是把潜空间噪声去噪成运动，从来不是一帧一帧地"画"
• Transformer 同时在空间和时间上做注意力，这是运动连贯的原因
• 视频比图片难在平方级：每一帧都要和其他每一帧对得上
• 真正重要的三个杠杆：条件化（喂什么进去）、引导强度（提示词拉多硬）、算力预算（分辨率 × 时长）

从噪声到运动的四个阶段

1. 压缩：像素变潜变量

原始视频体积惊人——5 秒 768P 就超过 500MB 像素数据。模型先用变分自编码器（VAE）把每帧压成一个潜变量：一个体积小得多的数字网格，保住画面内容、丢掉像素级冗余。生成全程都在潜空间里完成，最后一步才由解码器还原像素。正是这一招，消费级显卡才渲染得起视频。

2. 去噪：真正的生成

模型拿到一块纯高斯噪声的潜变量和提示词的文本嵌入。在几十步里，每一步预测并去掉一点噪声。早期步骤决定布局和大尺度运动，后期步骤打磨纹理细节。这和图片模型背后的扩散过程相同——视频只是给被去噪的噪声加了一条时间轴。

3. 架构：扩散 Transformer（DiT）

老一代视频模型用 U-Net，本站现在跑的模型全部用扩散 Transformer：潜变量体被切成区块，自注意力让每个区块都能看到其他所有区块——包括其他帧里的区块。这种时空注意力，就是萨克斯的黄铜色在第 40 帧仍然不变的原因：因为它在第 1 帧见过这个颜色。

4. 条件化：你的输入变成转向信号

提示词被嵌入成文本 token，上传的图片变成视觉 token，参考视频变成运动 token。它们被注入注意力层，把去噪轨迹往你的意图上拉。这些信号拉多猛、接在哪里——就是"还行"和"它怎么做到的"之间大部分差距的来源。两个最重要的条件化模式各有专文：身份保持看参考生成视频，首帧控制看图生视频。

为什么 5 秒钟这么难

三种失败模式让短视频比看上去难做：

1. 身份漂移——随着帧数累积，人物的脸或衣服慢慢变形。时空注意力在对抗它，但每多一秒就多一秒漂移的余地。
2. 运动瘫痪——引导太弱时，模型产出一段几乎静止、只有轻微闪烁的片段。它找到了一个"平均解"，既满足提示词又不用承诺任何运动。
3. 时序闪烁——细纹理（锁子甲、织物纹路）在帧与帧之间"沸腾"，因为每一步去噪对纹理的处理略有不同。

这也是时长定价的来源：成本随时长 × 分辨率走，而质量余量随时长递减。5 秒惊艳、10 秒开始漂移——那是物理，不是提示词的锅。

引导强度这个旋钮

无分类器引导（CFG）就是"我该多字面地执行提示词"的旋钮。引导强则忠实但运动易脆、颜色易过饱和；引导弱则运动自然但可能丢掉你点名的细节。现代模型大多已替你调好——但提示词长度会和它互相作用：又长又密的提示词配强引导，产出的是"困惑的角色扮演"质感。多数模型现在跑一个自动改写步骤，叫提示词扩张，悄悄修掉了大部分这类问题。

算力花在哪：分辨率阶梯

| 分辨率 | 买到什么 | 花掉什么 | | ------ | -------------------------- | ---------------------------- | | 480P | 出片最快，单位积分运动最顺 | 脸软、细节糊 | | 768P | 甜点位：运动干净、细节扎实 | 约 1.4 倍于 480P 的成本 | | 2K | 值得放大看的锐利细节 | 更慢；细节会和运动打架 | | 4K | 特写级别的完成度 | 多数情况是低分辨率底子的放大 |

诚实的说法：2K 和 4K 经常是在 768P 级底子渲染之上的放大pass。这笔交易值不值，完全取决于你的片段靠细节活还是靠运动活——完整推理见分辨率阶梯详解。

落地

理论到此为止，实践只需一次点击。首页生成器把四个杠杆——条件化、引导、扩张、分辨率——全部预设成了适合 Tiny Desk 迷因的组合，而分步教程带你走完第一条片子。

常见问题

AI 视频生成的原理是什么？

视频模型从一个压缩潜空间里的纯噪声出发，在你的提示词和参考图的引导下逐步去噪。扩散 Transformer（DiT）架构让每一帧的每个区块都能互相"看见"，因此主体运动和镜头运动在整个片段里保持连贯。

为什么视频生成比图片生成难？

因为每一帧既要自身合理，又要和其他所有帧保持一致。模型需要建模"运动"而不只是"外观"——脸部漂移、肢体扭曲、背景变形，全都是时间一致性失败的表现。

视频生成里的"潜空间"是什么？

它是视频的压缩数值表示——每边通常比像素小 8 到 16 倍。模型在潜空间里生成，因为给潜变量去噪远比给原始像素去噪便宜，最后再由解码器还原成全分辨率。