挖到个宝藏27B开源Code2Video模型!可本地安装,还送MG Skill~

0 评论 71 浏览 0 收藏 22 分钟

HeyGen 的 Code2Video 榜单上,前八名清一色闭源,Claude Opus 5.5 排第一,开源模型多在百分之十上下。一个 27B 开源模型能本地安装,还能在 HyperFrames 里稳定出片。

老粉应该知道,我最开始是一个后端开发,剪辑和AE是完全一窍不通。

但从今年2月开始,我陆陆续续用代码做了不少视频:

用Remotion把公众号文章转成动画视频,基于HyperFrames搭了个宣传片专家团,给仓颉.Skill和WorkBuddy都拍过宣传片等等。

用代码做视频这条路,其实工具这一块早就开源了不少,之前有Remotion,HyperFrames。但每次片子的效果,主要还是看背后那个写代码的模型,而且生成一次不便宜。

上周HeyGen在Kaggle上更新了一个Code2Video榜单。

玩法是给模型一份很细的创意brief,让它在HyperFrames里写代码出片,再拿去跟人做的参考片比。

前八名清一色是闭源模型,Claude Opus 5.5排第一,原始分33.5%。

GLM、Kimi、DeepSeek等开源模型,基本在10%上下。

榜单说明里有句话我挺认可的,大意是:很多前沿模型都会写HTML、CSS和JS,但要把代码变成一支靠谱的视频,模型得在时间上去理解画面,而不只是画好一个静态页面。难度是指数级上升的。

所以现在的局面其实有点尴尬。

想要效果,就得用付费用闭源。之前我用Opus5.5做一条1分钟的视频,花了半个小时,跑一条可能都要几十块。。也没办法在本地使用。

一些通用的开源模型本来也不是专门为做视频训练的,所以用起来也不是太ok。

不过,我发现最近发现了一个宝藏开源Code2Video模型:SenseNova-6.8-Code2Video

哈哈,刚想睡觉,枕头就递来了~

https://github.com/OpenSenseNova/SenseNova-6.8-Code2Video

它是一个专门为代码做视频训练的模型,模型权重在Hugging Face。直接填补了这个中空地带。

https://huggingface.co/sensenova/SenseNova-6.8-Code2Video

SenseNova-6.8-Code2Video是一个27B的小模型,基于Qwen3.8-27B微调,支持512K上下文。

它虽然小,但它的定位居然是干长任务:写代码、渲染、回看画面、再改,一轮接一轮,甚至最多能连续跑10个小时以上、2000多轮。推荐接入Claude Code使用~

而且,没想到还有配套的code-video Skill,把做片子拆解成了一套标准流程:

先写规格,再写代码渲染,然后把渲染出来的画面读取自己检查,最后验收交付。里面带了8份领域指南,科普讲解、角色动画、3D场景、音乐卡点这些都有,贼全。

同时,它可以增强 Prompt 生成,也就是自动优化提示词后再生成视频,极大降低创作门槛。

开放的制作轨迹也非常详细,每一条消息、每一次工具调用、看了哪几张渲染图,都有。

想知道片子是怎么一步步做出来的,直接翻轨迹就行。

省流总结一下这个Code2Video模型(SenseNova 6.8)的特点:

  1. 一句话出片:说需求,它自己组织画面、设计动态文字,能直接出一支多镜头的完整短片。手上有现成的视频素材,也能编进成片里。
  2. 能直接改,不用推倒重来:整体换风格,信息、节奏和动画,可以直接往画面里加新元素,它会自己处理。一轮一轮改,慢慢改到你满意。
  3. 看视频就能复刻:只给一段参考视频,不用原始代码和工程文件,它会逐帧拆解画面和动效,重新写一份代码,还能顺手改成你要的样子,比如换个产品名、换个配色。
  4. 许愿式创作:想法很模糊也没关系,配套的Skill会先跟你聊清楚需求,把零散的想法扩成完整方案,优化好提示词再开做。

说实话,我还第一次见到专用的Code2Video开源模型(不知道是不是首个)。

不知道你们有没有这种感觉,作为开发者,对开源完全没有抵抗力,每次出来一个全新的开源项目,就会像见到了一个令人兴奋的“玩具”。特别是Code2Video最近还很火。甚至开辟出一条新的AI视频方向。

现在安装部署也非常简单,把GitHub或者huggingface链接直接丢给Codex等本地Agent,让它帮忙部署模型,并配置到Claude Code,顺便把code-video Skill也安装上。中途如果遇到问题,让它解决就好。

ok,接下来,我们一起看看SenseNova-6.8-Code2Video做视频的效果如何~

1、《周末的48小时,到底去哪了》

我找了一个大字报风格的短片,让他来复刻。看看效果怎么样。

提示词:请参考我上传的视频,为《周末的48小时,到底去了哪里?》生成一支30秒竖屏动画的完整代码。

采用瑞士动态排版风格(参考我上传的视频):黑白灰加一种强调色,统一网格、单一字体家族、强烈字号对比和大面积留白。文字通过裁切显现,图形精准移动、卡点落位,不使用弹跳、粒子或复杂三维效果。

用巨大的“48”、时间方块和简短文字,表现周末被睡觉、家务、刷手机等活动逐渐占满,最后落到“怎么又星期一了?”的共鸣。时间分配为虚构示意,合计48小时。具体分镜自行设计。

使用 HTML、Canvas 或 SVG 实现,适配1080×1920,提供完整可运行代码和渲染说明。如果当前平台支持执行和视频导出,请继续完成并交付MP4。

参考的原视频由Opus5.5生成:

SenseNova 6.8 Code2Video 生成的视频:

可以看到格子填色的动效其实做的和原视频一样丝滑。

整个视频的动效,BGM卡点都做得很不错。不足的就是画面布局少了些设计感和精致感,还有一个小瑕疵一开头的数字48没有显示完全(这种可以让SenseNova 6.8 Code2Video直接修复)。

接下来我继续让他修改了配色和画面内容,我这里先把配色改成蓝色了,接着修改了数字48 的显示问题和换了一首更轻松愉快的电子音乐,一共做了两轮修改。

修改只是相应代码块的修改,而不是传统视频生成那样的整支视频重新生成。

最后的成片如下:

提示词:

制作30秒、9:16《128GB,都去哪了?》存储空间动态图解。角落全程注明“容量分配示意”,数据虚构,不使用真实手机品牌或声称系统实际统计。128个等大方格,每格1GB,16列×8行,留足手机安全区。照片34GB珊瑚色、视频46GB钴蓝、应用22GB橙色、系统16GB灰色、剩余10GB空心,总和128。

0—4秒:手机轮廓打开为方格面板,标题“128GB,都去哪了?”4—14秒:依次高亮五类,34/46/22/16/10与方格个数精确一致,数字和图例可读。14—20秒:方格连续重排成五组,强调视频46GB,不使用随意的百分比条。20—26秒:模拟用户已确认删除14GB重复视频,把14个视频方格转换为空闲格,视频变32GB、剩余变24GB,照片34/应用22/系统16不变,128格全程守恒。26—30秒:“剩余24GB”“先看占用,再决定清理。”不要表现未经确认自动删除真实文件。配乐与重排、释放动作同步,避免格子闪烁或凭空增减。

像这类把一组数字变成可以跟着看的动态图就很适合用这个模型生成,数字色块的增减数量都是对应的,色块变动的动效也够丝滑。

2 超现实主义气泡水广告

提示词:制作一支24秒、16:9的虚构气泡水广告,品牌叫ROUND,主打柚子口味。

采用明快的二维与简单立体图形混合风格。易拉罐由圆柱和上下两个薄圆盘构成,水果由圆形、扇形和短线构成,气泡用圆点。主色是柚子黄、青绿和米白,使用简单渐变和落地阴影。

0—4秒:黄色圆形弹入,展开为柚子切片,三片水果沿弧线错位排开,背景圆环和短线跟随运动。文字“给今天”。

4—10秒:切片向下运动,带动一只ROUND易拉罐进入中心。罐体轻转20°,标签始终附着在罐体正面。前景水果滑过,中景产品运动,背景气泡上升,形成三层构图。

10—18秒:三只罐子排开,中间是最大的柚子黄主罐,左侧青柠绿,右侧莓果粉。背景大色块随节拍滑动,三种口味依次被强调。

18—24秒:回到单只柚子主罐,水果切片和气泡沿环形路径运动。出现“给今天,加点气泡”和ROUND。最后2秒让产品与文案完整停留。

音乐轻快,产品入场、口味切换、片尾定格都有对应音效。画面层次来自水果、产品、背景图形及其遮挡关系。交付带声音的视频。

成片

说实话,这条属实让我有点惊艳到了,在这条视频里面我终于看到了些设计感,不管是字体的设计还是整个画面的配色都比较和谐。

我是没有想到一个27B的小模型,能做到这种程度。看来微调还是很权威的,微调好,得学啊!

3 开源项目宣传片

我开源的仓颉Skill 马上12 K Star啦~

顺便用SenseNova 6.8 Code2Video,再来给仓颉Skill做一个宣传片吧。整个视频1分钟。

说实话,做的还不错,虽然整体设计略显粗糙,但是各种细节,动效都是很到位的。该表达的都表达清楚了。

4 科普讲解

再来看看对于数学问题它处理的怎么样–《两个圆,能画出直线?》

说实话,我光看这个题目根本想象不到咋画的直线 ♂️

要是我当年学数学的时候老师拿出这玩意也不用我自己费劲巴拉自己想象了。

当年听过数学老师说的最多的一句话就是你们自己想象一下。

接下来再看看他的3D能力,这是一个距微缩动画,用简单的3D模型讲解了平常我们购物过程中快递是怎么实现分流的。

提示词:制作32秒、16:9等距微缩物流动画《一件快递,怎么找到自己的路?》。角落标注“物流流程示意”,不冒充真实物流算法。奶油白地面、蓝色设备、橙色传送带路径,A/B/C三个明确分流终点。主角包裹标签始终“017”,目的地B,身份与外观保持一致。

0—4秒:完整仓库建立空间关系,标题“一件快递,怎么找到自己的路?”4—11秒:跟随017通过扫描门,读取结果清楚显示“017 → B”。11—21秒:橙色高亮B路线,分流挡板先转到正确方向,包裹沿真实的传送带路线进入B通道,不能穿透设备或瞬移到另一带。21—27秒:017到达B装载区,标注“目的地匹配”,其他包裹作少量背景但不抢主体。27—32秒:镜头回全景,流程“识别 → 分流 → 到达”。

可以看到整个视频中几乎没有穿模的镜头,发光特效和音效也配上了,总的来说还不错。

所以,我觉得它对教育也是有非常大的意义,比如你是一位数学,或者物理老师,经常需要备课。

就可以本地部署这个小模型,上课前让它自己生成一些帮助学生理解的动画,本来一图胜千言,视频就更是了。

5 小猫DJ

这个主要是看生产的鼓点是否和画面同步,我想要的效果是小猫每按一个按钮(3个按钮代表低鼓、和弦与短音旋律)发出的声音要和小猫的动作符合。

提示词:制作一支16秒、9:16竖屏、首尾无缝衔接的音乐动画。

主角是参考图中的猫,坐在一台有三个大按键的迷你合成器后面(图参考图所示),小猫整体轮廓在手机缩略图里也能识别。

背景奶油黄,三个按键分别为珊瑚红、天蓝和薄荷绿。采用平面插画与轻微立体阴影,画面不出现文字。

音乐为120BPM、4/4拍,共8小节,准确16秒。用程序合成简洁的鼓点、低音和短音旋律,不使用现成歌曲。

三个按键分别对应低鼓、和弦与短音旋律。建立统一的音符事件表,声音触发、按键下压、对应颜色光环、小猫前爪动作都读取这张表。

0—4秒:小猫敲出清楚的基础节奏,主体和三个按键立即可见。

4—8秒:加入旋律,彩色圆环从按键向外展开。

8—12秒:节奏最丰富,背景出现少量随节拍旋转的几何图形,小猫尾巴按节奏摆动。

12—16秒:逐渐减少装饰,回到与开头兼容的姿态、构图和音乐状态。

每次落爪前有短暂抬起准备,接触按键时发声,然后回弹;不允许爪子还悬空,声音已经响起。身体动作保持简单,避免关节拉长或突然多出肢体。

循环边界不能靠黑场或淡出隐藏。检查第16秒的理论状态与第0秒一致,实际最后一帧到第一帧应连续前进。音乐在循环处不能有明显爆音或截断。

重点检查全部落爪时点的音画同步,以及把成片连续播放三遍时的衔接。

成片

可以看到视频里面生成的音乐鼓点与小猫的敲打按球动作是一致的,鼓点严格按照我的提示词生成。还挺好玩的,可以作为视频素材啥的。

6 动效能力

看看他的动效能力,这个的提示词很简单

提示词:制作一段动态的 15 秒动态图形视频,展示你是多么出色的动态设计师,就像简历的展示集。全力以赴。

生成的视频

这次动效测试让我发现,它基础 MG 动画的处理效果还是不错的。

像视频里面的文字弹跳、粒子聚散、动态渐变和透视层叠,都能融合在一个视觉风格里,画面也有一定丰富度。不过,仔细看看看还是能发现完成度上有一些瑕疵,尤其是画面的精细度,还达不到隔壁Opus5.5的水平。不过小模型能做到这个程度已经属实不易了。

「最后」

坦白讲,它做动态图形、科普讲解、风格化的2D/3D场景这些可以,写实的拍摄画面做不了。

同时,一次制作要跑几十分钟,甚至一两个小时(也跟本地算力有关)。

画面完成度和长程稳定性,跟最强的Opus5.5还有明显的差距。连提示词增强,官方都建议交给Claude这类更强的模型来做(还是很诚实的)。。但这个方向,确实是有需求的。

回头看这两年,开源模型追得是真快。甚至在在通用能力上,开源和闭源的差距正在越来越小。

可回到某些具体的场景,差距又变得明显了起来。就像最开始那个榜单,同样是写代码做视频,开源模型的分数只有闭源的三分之一左右。

所以我觉得:开源模型接下来更有机会的地方,是在一个个具体的场景上做到够用。

而够用加上能本地跑,对很多人来说,比榜单第一更重要。

比如有些国企客户要求非常苛刻,从大模型到知识库再到应用,所有东西都必须部署在他们自己的内网服务器上,物理隔绝。这些单位也想用好东西,但数据只能在本地,私密性要求很高。

现在可以试着把SenseNova-6.8-Code2Video模型放进内网,还没对外的项目、内部的业务数据,都可以直接做成动画。

企业培训也是。我做企培经常要给不同企业重做课件,上次去国企培训,台下大多是年轻人,讲久了容易走神。要是能把一些抽象的流程、原理做成几十秒的小动画,肯定比干巴巴的PPT要更容易理解。而人家的业务资料,很多也是不方便往外传的。

还有自媒体。我之前说过,起号阶段要轻量化、低成本。代码视频特别适合做科普、数据、排行榜这类内容,量一上来,token消耗也挺恐怖的。特别是对做矩阵号的朋友来说。

如果模型部署在自己机器上,跑一百支和跑一支,成本差不了太多(电费另算)。

不得不说,SenseNova-6.8-Code2Video作为一个只有27B的小模型,确实做到了小而美。

本文由人人都是产品经理作者【袋鼠帝】,微信公众号:【袋鼠帝】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 目前还没评论,等你发挥!