我把手绘视频自动化了,输入内容就能边讲边画

0 评论 678 浏览 0 收藏 10 分钟

给 AI 一个讲解主题,它就能让一支铅笔跟着配音画出整段故事。小编选了一条注碳增气平台的新闻做成 30 秒手绘视频;又用 in、on、at 三个介词做了一支 20 秒英语教学样片,观察画笔和配音的配合。这套工具已传到 SkillHub。

知识点秒变手绘视频。

给AI一个讲解主题,它就能让一支铅笔跟着配音画出整段故事。

小编选了一条注碳增气平台的新闻,做成了三十秒的手绘视频。

画面里先出现带吊机和管道的平台,再引出分离设备,接着用地层剖面解释二氧化碳怎样回注地下,观众能顺着图把技术逻辑看懂,颜色标记则帮助观众区分封存的碳和采出的气。

而这类白板视频特别适配边讲边画的知识讲解场景。就像讲英语介词,用球和盒子的位置就能帮人看懂句子;讲工业设备,靠管道连接展示物质怎样流动。

制作时,只需交代主题和受众,AI就能先写出一份能讲清楚的稿子,并规划好每个画面什么时候出现。

制作者可以先核对内容和台词,再决定哪些画面需要细化绘制。一支短片只讲一个知识点,学生观看后,老师也便于抛出问题或是补充讲解。

为搭建一套可复用的制作流程,小编先用AI生成一段二十秒英语教学样片,主题为in、on、at。短片只讲解这三个介词的空间用法,时长精简,方便观察画笔动画和配音之间的配合效果。

输入给能读取文件、调用工具并运行脚本的agent,比如workbuddy,豆包工作都可以,根据任务安排素材和动作,脚本负责按确定的时刻画图,最后把配音与动画合成视频。

这支英语样片选用学生熟悉的物件来演示。球绘制在盒子内部,对应in the box;杯子放置在桌面,对应on the table。讲到at the door时,镜头借助门口这个点位,阐释该介词的含义。

样片刚生成的时候,能明显看出一个毛病:同一张画面好几支笔一起快速画。各个物体自顾自地绘制,动作堆在一起,观众很难跟上配音讲解。

要修好这点,得调整每个元素什么时候开始画,还要把控笔尖要画多长。文字、排线、上色都要算进耗时里,就算有些元素不显示画笔,也不能让它和别的绘制动作发生重叠。

这套工具还能适配课堂里的交互演示。介词书写出错时,可用橡皮擦除原有文字,再写出正确版本,学生能直观看到修改位置。更换红笔可以标记错误,钢笔、记号笔也能带来不一样的线条质感。

英语课堂验证了简单物件和例句的搭配效果,后面接着测试人物更多的新闻讲解短片,这支20秒片子讲特朗普、马斯克,围绕SI超级智能事件展开。

绘制名人形象时,采用先准备插画、再提取轮廓的方式。先在原图敲定人物五官、发型与服饰,再通过编译脚本提取适配手绘动画的描线路径,同时保留墨线和原色图层。

画面元素变多后,试听发现了新问题:旁白一句话说完了,铅笔还在继续画剩下的内容,中间空出好几秒没有配音,观众只能干等下一句。

这种情况很容易打断整体节奏,短片看着也拖沓。后续只好拿配音当做时间基准,先录好完整音频、算出时长,标出关键语句的时间点,再调整画面切换和手绘动作,把画画造成的空白空档去掉。

不过 AI 生成视频都有同一个麻烦:一旦渲染好成片,改动基本要全部重做。标题太长、标签位置不对这类细节,最好导出之前就能预览检查。成片之后才发现问题,修改起来会很麻烦。

于是让脚本生成可视分镜,每一幕都呈现完整的静态构图,旁边列出对应的画面文字与旁白。

审阅时可以一起判断物体大小和文字摆放,说明某处需要调整,agent再根据这份稿子修改。

每个场景、物体和配音段都有稳定的标识,修改请求可以对应到具体对象。

经过这些测试,制作方法已经有了适合保存的部分。我把它整理成 handdrawn-explainer这个Skill,供agent下次读取。

SKILL.md写的是制作时需要做出的决定。它要求先确认受众和时长,新闻要核实日期与阶段限定,主要讲解对象需要有可辨认的图形。默认使用一支铅笔,绘画时序跟随配音,并在完整导出前生成审阅稿。

经常重复的操作交给scripts文件夹里的代码;绘画技法等较长说明保存在references,agent 需要处理对应任务时再读取。

运行环境需要Python、FFmpeg和兼容Chromium的浏览器,随包的检查脚本会检查依赖。配音可以导入已有录音,图片生成与语音服务需要使用环境里可用的工具。

所以小编又拿它放在新的agent里连续做了几轮测试。

第一轮是一道高中数学题。

输入题目后会先识别题干条件,再将解题步骤拆解为多个段落。遇到需要绘制辅助线的环节,线条随推导过程逐步出现;需要标注角度、边长时,再添加对应的符号。

最终生成的视频不会一次性展示完整的解题图形。讲解到某一条件时,画面仅展示当下需要用到的信息。

辅助线、公式与结论随解说依次呈现,观看体验贴近教师在黑板上边分析、边书写推导的现场授课。

第二轮换成了高中物理,只给了它一个教学概念,让它自己决定怎样讲。

第三轮又让它讲一段新闻稿,关于诺贝尔生理学或医学奖公布,三位科学家因光控离子通道和光遗传学相关发现获奖。

agent会先把故事里真正影响理解的节点挑出来,再决定哪些地方需要人物形象,哪些地方更适合用图像、时间、箭头或者简单场景。

讲到某个人,就先把人物和当时的场景画出来,事件继续发展,再补上后面发生的变化。

连续跑完这几组测试后,这套东西才算真正有了一点可复用的感觉。

手绘视频本身并不复杂,麻烦的是把内容、旁白、画面和绘制节奏全部对齐。

目前handdrawn-explainer已经上传到SkillHub,有需要的也可以拿去试试。

作者:虾蛄AI 公众号:虾蛄AI

本文由 @虾蛄AI 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自 Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 目前还没评论,等你发挥!