AI 视频工作流的终局：从手工编排到智能体自动构建

一、一个值得注意的信号：生成模型开始”动手操作软件”

最近一年，生成模型的能力边界出现了一个质的变化：它不再只是”输出文本或图像”，而是开始直接操作专业软件完成具体任务。有人用它在三维建模工具里搭场景，有人在剪辑软件里让它自动排时间线。这件事表面上是个炫技 demo，但背后指向一个更根本的问题：

当模型能够直接操控专业工具时，那些今天需要人手工学习、手工搭建的中间层，还有多少存在的必要？

AI 视频制作正好是这个问题最集中的战场。目前主流的视频生成方式，仍然高度依赖人来搭建”控制结构”——参考图放哪、白模怎么接、上一镜的结果怎么传递、哪个模型挂哪个节点。这些工作构成了所谓的”工作流”，而工作流本身，正在成为下一个被自动化的对象。

二、白模预演：把随机性压到可接受范围

2.1 纯文本生成视频的固有问题

直接用视频生成模型跑一个复杂镜头，比如”一个人在路边等车，远处一辆车失控冲过来，观众先看到车，人物晚一点才反应，镜头同时缓慢侧移”——这类镜头里充满了随机变量：

• 车什么时候进入画面
• 车离人物有多远
• 人物在第几秒做出反应
• 相机移动的速度和轨迹
• 换一次随机种子，以上全部变化

对创作者来说，这意味着不可复现。你很难用同一段提示词稳定地得到同一个镜头，更不用说把多个镜头剪成一条连贯的片子。

2.2 白模作为”空间与时间的契约”

解决思路并不是让生成模型变得更确定，而是在生成之前，先把运动、时间和空间关系固定下来。这就是白模预演的价值。

具体做法是：在一个三维软件里搭一个非常粗糙的场景——人物是假人，建筑就是几个方块，车用占位模型。然后把机位路线、人物位置、运动轨迹、事件发生的先后顺序全部排出来。这段白模不需要好看，因为它永远不会给观众看，它只承担一个职责：把镜头内的时空关系压死。

然后，把这段白模作为参考输入给视频生成模型。目前一些较新的视频模型，已经能够较好地利用白模中的：

• 相机运动信息
• 人物轨迹信息
• 前后遮挡与空间关系

也就是说，白模提供的不是”画面内容”，而是”结构约束”。生成模型在这个约束下再去填充光影、材质、细节，随机性就被限制在一个可接受的范围内。

2.2 哪些东西适合交给物理计算

白模阶段还有一类工作适合直接交给三维软件本身：

• 必须精确接触的动作，比如手抓住门把手，可以挂 IK（反向动力学）来约束
• 符合物理规律的运动，比如杯子掉到地上，直接让软件去算

这类东西用生成模型去”猜”是不可靠的，但用确定性计算去解是廉价的。把它们放在白模阶段解决，等于把最难控制的部分从生成模型手里拿走。

2.3 白模本身也可以由智能体生成

关键的一步在这里：搭白模这件事，本身也可以交给智能体。

如果把”我要一个什么镜头”用自然语言描述清楚，智能体完全可以：

1. 在三维场景里摆放占位物体
2. 设置相机路径与关键帧
3. 安排事件发生的时间点
4. 导出白模序列作为参考

也就是说，人只需要描述意图，中间的三维编排由智能体完成。这正好呼应了开头那个信号——生成模型开始操作专业软件。

三、节点化管线：工作流本身就是可读写的数据

3.1 当前的工作流搭建方式

在视频生成领域，节点化管线（类似 ComfyUI 这类工具的形态）已经成为复杂任务的主流组织方式。一条多阶段视频生成管线，画布铺开可能是这样的：

[人物参考图] ──┐
               ├──> [参考编码] ──┐
[白模序列] ────┘                 ├──> [生成模型] ──> [上色/超分] ──> [输出]
                                 │
[上一镜视频] ──> [时序参考] ─────┘

问题在于，这些节点和连线目前全部需要人自己研究：

• 人物参考应该接到哪个节点
• 白模接哪里、以什么权重接
• 上一镜的视频怎么带到下一镜保证连贯
• 哪个模型挂哪个节点、显存够不够

这套知识的学习成本很高，而且高度依赖具体工具版本，换个环境可能就失效。

3.2 工作流是机器可读、可改的数据

但换个角度看，节点化工作流本质上就是一份结构化的数据：节点是对象，连线是依赖关系，参数是属性。这意味着它完全可以被程序读取和修改。

于是逻辑就变得很直接：

• 智能体知道这一镜需要哪个人物 → 自己去资产目录找参考
• 需要白模 → 直接拿上一步三维软件输出的结果
• 需要上一镜的结果 → 自己接进管线
• 缺模型 → 自己找、自己装
• 缺节点 → 自己补
• 跑不动 → 自己换配置或降分辨率

这不是想象。现在已经有工具允许智能体查看本机显卡、已安装模型和可用节点，然后自行搭建、修改并运行工作流。也就是说，“搭工作流”这件事正在从人的技能变成智能体的技能。

3.3 人还需要知道管线长什么样吗

如果这个方向走通，一个自然的推论是：节点化工具会长期待在后台运行，它最终给自己铺了几十个还是几百个节点，创作者根本不需要知道。

人要做的是：

1. 描述这一镜要什么
2. 描述前后的连贯关系
3. 审片，给反馈

中间的所有编排——白模、参考、节点、模型选择、参数调整——由智能体闭环完成。

四、分层架构：把”意图”和”实现”彻底分开

把上面的两条线索（白模预演 + 节点管线）合起来，可以抽象出一个清晰的分层架构：

层级	职责	由谁完成
意图层	描述镜头内容、情绪、连贯关系	人
编排层	拆解任务、生成白模、搭建管线	智能体
执行层	三维计算、物理模拟、视频生成	专业软件 + 生成模型
审校层	判断是否达标、给出修改意见	人 + 智能体辅助

这个架构的关键在于：人只在意图层和审校层出现，编排层完全交给智能体。

今天的痛点是，编排层的工作被大量地压给了人——人既要表达意图，又要亲手搭管线。而编排层恰恰是机器最擅长处理的那类工作：结构明确、规则清晰、可以试错、可以自动化。

五、现阶段的边界与务实建议

需要清醒地认识到，当前的白模控制还没有精确到”在三维软件里怎么排，最后就一帧不差地照着出来”。生成模型仍然会引入自己的变化。但在以下方面，白模已经能提供很强的参考：

• 相机怎么走
• 人物往哪里动
• 前后遮挡关系
• 大概什么时候发生什么

对开发者来说，务实的路径是：

1. 先把白模预演流程跑通，哪怕手工搭，也要建立”先定时空、再交给生成”的习惯
2. 把工作流当成数据来管理，尽量用可被程序读写的格式描述管线，而不是只靠图形界面点击
3. 逐步把可自动化的环节交给智能体，从资产查找、节点安装这类低风险任务开始
4. 保留人工审校卡点，在关键镜头和连贯性上不放手

六、结论

“生成模型能直接操作专业软件”和”工作流本身是机器可读的数据”这两件事叠加，指向同一个结论：

AI 视频制作中的大量中间层工作——白模搭建、参考接入、节点编排、模型选择——正在从人的技能变成智能体的技能。

这不是说人不再重要，而是人的位置在往上移：从”操作工具的人”变成”描述意图和判断结果的人”。工作流不会消失，它只是不再需要被人看见。对开发者而言，越早把管线设计成”可被智能体读写”的形态，就越早拿到下一代生产方式的入场券。