← 返回知识库

AI 工作流

豆包、LibLib、即梦怎样串起来:从创意到带配乐的短片

以一个桌面原型为参考,拆解豆包、LibLib、即梦和 FFmpeg 的协作,说明任务状态、中间文件及配乐短片仍需补齐的环节。

本文目录 按章节阅读

导读

想做一段带配乐的生成视频,通常要处理几种不同任务:把创意写清、生成合适的图、让画面运动、制作音乐,再把文件合在一起。切换平台只是表面的操作,真正需要约定的是每一步把什么交给下一步。

toki-plus/ai-video-workflow 把这条流程放进了一个桌面原型,并公开了示例视频和代码。下面从作者这条带配乐短片的路线,拆解几个服务怎样组合。接口和账号条件按当前服务确认。

作者留下了什么成品

仓库的 assets 目录提供示例 MP4、动图和制作界面。它给出的路线是提示词、文生图、选图、图生视频、音乐与合成,可以结合成片和代码查看各步职责。

作者示例视频:https://github.com/toki-plus/ai-video-workflow/blob/fd5cac2abb861c07d50c8dd1b80227edf6cd3375/assets/cover_demo_video.mp4

本文的灯塔练习用来解释同类流程,不把它写成作者原视频的内容。

先说清这条原型已经做了什么

左右滑动查看完整表格

阶段项目使用的服务或工具交给下一步什么
整理创意豆包提示词生成图片、视频或音乐所需的描述
生成画面LibLib 文生图候选图片、图片地址或本地文件
确定素材人工预览和选择确认采用的参考图
生成片段即梦图生视频视频任务状态和片段文件
配乐与输出即梦音乐、FFmpeg带配乐的输出视频

这是跨服务编排的例子,不是每一步都由一个独立 Skill 完成。项目用 Python 客户端和桌面界面组织任务;Skill 可以帮助 AI 使用或解释它,但不能代替里面的接口和执行代码。

它也不等同于完整的旁白视频产线。当前核对的主要链路是图片、视频和音乐;如果需要中文讲解,还要补 TTS、时间对齐、字幕和混音。

第一步:把创意拆成不同的描述

用“海边灯塔的一小段氛围画面”做虚构练习。图片描述要说清灯塔的位置、外观、光线和构图;视频描述要说清哪些东西动、怎么动;音乐描述则关注情绪、节奏和是否需要人声。

把同一段形容词复制给三个服务,结果不一定一致。可以先让 AI 交一份拆解:

左右滑动查看完整代码

我要一段海边灯塔的氛围短片。
先分别写参考图描述、镜头运动描述和配乐要求。
灯塔外观和场景光线要保持一致;视频只安排一个主要运镜。
先展示描述和预计使用的服务,不立即提交生成任务。

这一步先定画面和声音各自承担什么,后面才能知道哪种结果算合适。

第二步:先选好图,再让它动起来

文生图阶段主要看构图、主体、风格和细节。先选出一张适合继续生成的图,再进入视频阶段。

以灯塔为例,门窗位置、塔身比例和地面关系需要看清。静态图里结构已经不合理,视频模型未必能把它修好,反而可能把问题放大。

选定以后,记录采用哪张图、来自哪次任务、使用哪版提示词。下一轮换图,要能够分清它与旧片段的关系。

第三步:把“画面好看”改成能检查的动作

给图生视频的要求可以更具体:从参考图开始,镜头缓慢靠近灯塔,海面有轻微运动,塔身形状保持不变。

先把一段做稳,再组合更长的视频。单个片段同时要求镜头绕行、昼夜变化、人物经过和风格切换,失败以后很难判断是哪项要求造成的。

生成完成后看整个片段,尤其是结尾。第一帧像参考图,不代表几秒后的门窗、地平线和主体结构仍然一致。

第四步:保留任务 ID,区分等待和失败

这些生成服务通常先接收任务,再让客户端查询进度。项目代码也为图片、视频和音乐分别处理提交与状态查询。

左右滑动查看完整表格

当前看到的状态接下来要确认什么
已接收,尚未完成留住任务 ID,继续查询这一次任务
查询请求中断先确认原任务状态,不直接当作生成失败
明确失败记录原因,再决定重试或修改输入
显示完成下载文件,并检查实际内容是否可用

当前原型有等待超时和失败判断,不能据此宣传为已经具备完整的断点恢复。若要用于长期制作,还要确认任务记录、中间素材和重开应用后的恢复方式。

第五步:把配乐作为独立一层

先确定音乐的作用:铺气氛,还是配合某个动作。只有一段安静的灯塔画面,可以先不使用复杂的节奏和强烈音效。

视频和音乐生成后,由 FFmpeg 合成。还要听开头是否突兀、片尾是否突然截断,以及音乐长短与视频是否匹配。文件合在一起只是完成了技术步骤,听起来是否自然需要试听。

以后补旁白时,也不要直接把人声和原来的音乐按原音量叠在一起。人声承担解释,音乐要让出听觉空间,字幕则要跟实际说话时间对齐。

哪些可以复用,哪些要重新生成

改音乐风格时,已经确认的视频片段可以保留;只改镜头动作时,可以继续使用参考图;改了灯塔外观,则要重新检查后面的图生视频。

可以让 AI 留一份制作记录:

左右滑动查看完整代码

记录本次采用的提示词、参考图、任务ID和下载文件。
把每步成功与失败分开列出。
告诉我改音乐、换参考图、补旁白时,各自需要重做哪些步骤。

把最终需要的文件另存好,再进行清理。不要把临时下载目录自动当作长期素材库。

来源与验证范围

依据 toki-plus/ai-video-workflow 的 README,以及 ai-video-workflow.py 中的 LibLib、即梦视频、音乐客户端和合成流程,核对提交 fd5cac2abb861c07d50c8dd1b80227edf6cd3375。

本文灯塔示例与交接建议为重新编写,本站未独立执行这个练习。补旁白、字幕和持久恢复属于需要单独验证的扩展,不把作者已有的带配乐成片扩大成这些能力也已完成。

项目:https://github.com/toki-plus/ai-video-workflow

固定版本:https://github.com/toki-plus/ai-video-workflow/tree/fd5cac2abb861c07d50c8dd1b80227edf6cd3375

把用得上的方法,分享给需要的人

如果你的同事也在整理资料或改进工作流,可以把这篇文章发给他,一起试试文中的方法。

接下来怎么做?

可以先按文中的步骤自己试一遍。遇到具体问题,再决定是否需要协助。

内容制作

从素材、脚本到配音、字幕与剪辑,继续看内容制作中相邻的步骤。

咨询内容制作流程 ↗

相关实践:AI 内容制作流程

说明你的工作流需求 ↗