参考生成视频：AI 如何让每一帧里的脸都不走形

脸部漂移是业余 AI 视频的标志性破绽。第一帧还分明是你朋友，第三帧成了他表弟，最后一帧是个穿着他衣服的陌生人。参考生成视频（reference-to-video）就是为了消灭这个失败模式而存在的——而它的原理比"模型看了你的照片"有意思得多。

这篇深讲身份保持。周边管线请从 AI 视频生成原理详解读起；输入控制的另一半——首帧布景——见图生视频的第一帧条件化。

太长不看版

• 文字提示词描述脸是有损的；参考图不是
• 参考底板条件化在每一个去噪步骤把你的图注入为 token，身份被持续重新锚定，而不是决定一次就完
• 参考和提示词各司其职：一个管身份，一个管动作——混淆两者是头号用户错误
• 参考不是越多越好；每个主体一张干净图通常最优

为什么文字钉不住一张脸

说"一个棕色头发、留着胡子的男人"，你描述的是几亿人。去噪过程中，模型在每一步都重新解析这段描述，而每次解析都是从同一个巨大集合里重新抽样。相邻帧之间只差百分之一——眉骨位置略偏、下颌宽了一像素——但这些分歧肉眼可见地累积起来。这就是漂移：不是一个坏决定，而是几千个微小而各自独立的决定。

修法是结构性的：给模型实际的像素，而不是像素的描述。

参考底板条件化，不严谨地讲

把参考图想象成一块底板——一块固定在画布旁边的校准靶：

1. 你的照片先由模型的视觉编码器编码成一组参考 token。
2. 这些 token 与文本 token、带噪声的潜变量区块一起拼接进注意力流。
3. 在每一个去噪步骤，正在计算"此刻这张脸应该长什么样"的层都可以直接看到参考 token——和读提示词是同一套机制，只是这次读的是你的脸。

关键性质是重复性。身份不是在第一帧被复制一次然后靠记忆维持，而是被持续注入，漂移无处累积。这正是"能稳住脸十秒的模型"和"不能的模型"之间那条安静的分界线，也是同一个模型在文生视频模式下不稳定、在参考模式下却扎实的原因。

契约：身份归参考，动作归提示词

参考驱动生成里最强的惯例是角色分离：

• 参考图回答"是谁/是什么"——脸、衣服、乐器。
• 提示词回答"在哪、怎么动"——场景、动作、镜头。

破坏契约就会得到一摊糊。一边传她的照片、一边又在提示词里描述长相，等于强迫模型调和两个身份来源，而两张脸的平均值是个陌生人。长相只在照片里说一次，提示词全部拿来写动作。想看实际差距？本站的提示词写法示例就是按这个分工写的。

参考视频：不只是外观，还有运动

现代参考模式还接受短参考视频——几秒钟你想要的运动。模型从中提取一个运动签名（步态、节奏、重心转移），再把它套到你的参考主体上。这就是一张爷爷的静态照片如何继承整套舞台动作的原理——摇摆、凑近麦克风：外观来自图片，编排来自片段，由同一批注意力层缝合。

要知道的失败模式：当参考运动和提示词动作互相矛盾时，运动通常赢——片段是比句子更强的信号。让它们说同一件事。

实战布景规则

• 每个主体一张干净图。 正面、光线好、无遮挡。同一主体的多张参考，加的多半是矛盾。
• 参考图的裁切要匹配目标构图。 只有一张脸的参考图无法可靠地重建全身比例；给模型你预期看到的那具身体。
• 参考图主导风格。 夜里拍的照片会把生成场景往夜里拉。选与你想要场景一致的参考光线。
• 接受运动税。 锁定的身份会占掉一部分模型容量；大动幅全身动作正是漂移卷土重来之处。片段短一点，模型强一点。

上手

首页生成器的照片模式底层就是参考生成视频：上传一张照片（双人镜头传两张），分步教程里有确切设置。

常见问题

为什么 AI 生成的视频里脸会变形、漂移？

因为文生视频模型对脸没有持久的"记忆"——它在每个去噪步骤里都重新决定一次长相，步骤之间的微小分歧不断累积，就成了肉眼可见的漂移。参考条件化通过在每一步都注入一张真实的脸作为转向信号来解决这个问题。

什么是参考生成视频（reference-to-video）？

这是一种生成模式：模型同时接收参考图片（以及可选的参考视频片段）和提示词，并把参考里的主体"搬进"一个新场景。身份来自参考，动作来自提示词——两种角色刻意分离。

参考生成视频最多能用几张参考图？

当代模型支持最多九张参考图加少量参考视频片段。实践里，每个主体一张清晰照片胜过一堆相似照片——多余的参考带来的多半是矛盾而非信息。