导读
想做一段带配乐的生成视频,通常要处理几种不同任务:把创意写清、生成合适的图、让画面运动、制作音乐,再把文件合在一起。切换平台只是表面的操作,真正需要约定的是每一步把什么交给下一步。
toki-plus/ai-video-workflow 把这条流程放进了一个桌面原型,并公开了示例视频和代码。下面从作者这条带配乐短片的路线,拆解几个服务怎样组合。接口和账号条件按当前服务确认。
作者留下了什么成品
仓库的 assets 目录提供示例 MP4、动图和制作界面。它给出的路线是提示词、文生图、选图、图生视频、音乐与合成,可以结合成片和代码查看各步职责。
作者示例视频:https://github.com/toki-plus/ai-video-workflow/blob/fd5cac2abb861c07d50c8dd1b80227edf6cd3375/assets/cover_demo_video.mp4
本文的灯塔练习用来解释同类流程,不把它写成作者原视频的内容。
先说清这条原型已经做了什么
左右滑动查看完整表格
| 阶段 | 项目使用的服务或工具 | 交给下一步什么 |
|---|---|---|
| 整理创意 | 豆包提示词生成 | 图片、视频或音乐所需的描述 |
| 生成画面 | LibLib 文生图 | 候选图片、图片地址或本地文件 |
| 确定素材 | 人工预览和选择 | 确认采用的参考图 |
| 生成片段 | 即梦图生视频 | 视频任务状态和片段文件 |
| 配乐与输出 | 即梦音乐、FFmpeg | 带配乐的输出视频 |
这是跨服务编排的例子,不是每一步都由一个独立 Skill 完成。项目用 Python 客户端和桌面界面组织任务;Skill 可以帮助 AI 使用或解释它,但不能代替里面的接口和执行代码。
它也不等同于完整的旁白视频产线。当前核对的主要链路是图片、视频和音乐;如果需要中文讲解,还要补 TTS、时间对齐、字幕和混音。
第一步:把创意拆成不同的描述
用“海边灯塔的一小段氛围画面”做虚构练习。图片描述要说清灯塔的位置、外观、光线和构图;视频描述要说清哪些东西动、怎么动;音乐描述则关注情绪、节奏和是否需要人声。
把同一段形容词复制给三个服务,结果不一定一致。可以先让 AI 交一份拆解:
左右滑动查看完整代码
我要一段海边灯塔的氛围短片。
先分别写参考图描述、镜头运动描述和配乐要求。
灯塔外观和场景光线要保持一致;视频只安排一个主要运镜。
先展示描述和预计使用的服务,不立即提交生成任务。这一步先定画面和声音各自承担什么,后面才能知道哪种结果算合适。
第二步:先选好图,再让它动起来
文生图阶段主要看构图、主体、风格和细节。先选出一张适合继续生成的图,再进入视频阶段。
以灯塔为例,门窗位置、塔身比例和地面关系需要看清。静态图里结构已经不合理,视频模型未必能把它修好,反而可能把问题放大。
选定以后,记录采用哪张图、来自哪次任务、使用哪版提示词。下一轮换图,要能够分清它与旧片段的关系。
第三步:把“画面好看”改成能检查的动作
给图生视频的要求可以更具体:从参考图开始,镜头缓慢靠近灯塔,海面有轻微运动,塔身形状保持不变。
先把一段做稳,再组合更长的视频。单个片段同时要求镜头绕行、昼夜变化、人物经过和风格切换,失败以后很难判断是哪项要求造成的。
生成完成后看整个片段,尤其是结尾。第一帧像参考图,不代表几秒后的门窗、地平线和主体结构仍然一致。
第四步:保留任务 ID,区分等待和失败
这些生成服务通常先接收任务,再让客户端查询进度。项目代码也为图片、视频和音乐分别处理提交与状态查询。
左右滑动查看完整表格
| 当前看到的状态 | 接下来要确认什么 |
|---|---|
| 已接收,尚未完成 | 留住任务 ID,继续查询这一次任务 |
| 查询请求中断 | 先确认原任务状态,不直接当作生成失败 |
| 明确失败 | 记录原因,再决定重试或修改输入 |
| 显示完成 | 下载文件,并检查实际内容是否可用 |
当前原型有等待超时和失败判断,不能据此宣传为已经具备完整的断点恢复。若要用于长期制作,还要确认任务记录、中间素材和重开应用后的恢复方式。
第五步:把配乐作为独立一层
先确定音乐的作用:铺气氛,还是配合某个动作。只有一段安静的灯塔画面,可以先不使用复杂的节奏和强烈音效。
视频和音乐生成后,由 FFmpeg 合成。还要听开头是否突兀、片尾是否突然截断,以及音乐长短与视频是否匹配。文件合在一起只是完成了技术步骤,听起来是否自然需要试听。
以后补旁白时,也不要直接把人声和原来的音乐按原音量叠在一起。人声承担解释,音乐要让出听觉空间,字幕则要跟实际说话时间对齐。
哪些可以复用,哪些要重新生成
改音乐风格时,已经确认的视频片段可以保留;只改镜头动作时,可以继续使用参考图;改了灯塔外观,则要重新检查后面的图生视频。
可以让 AI 留一份制作记录:
左右滑动查看完整代码
记录本次采用的提示词、参考图、任务ID和下载文件。
把每步成功与失败分开列出。
告诉我改音乐、换参考图、补旁白时,各自需要重做哪些步骤。把最终需要的文件另存好,再进行清理。不要把临时下载目录自动当作长期素材库。
来源与验证范围
依据 toki-plus/ai-video-workflow 的 README,以及 ai-video-workflow.py 中的 LibLib、即梦视频、音乐客户端和合成流程,核对提交 fd5cac2abb861c07d50c8dd1b80227edf6cd3375。
本文灯塔示例与交接建议为重新编写,本站未独立执行这个练习。补旁白、字幕和持久恢复属于需要单独验证的扩展,不把作者已有的带配乐成片扩大成这些能力也已完成。
项目:https://github.com/toki-plus/ai-video-workflow
固定版本:https://github.com/toki-plus/ai-video-workflow/tree/fd5cac2abb861c07d50c8dd1b80227edf6cd3375