全球首个开源类Sora猛升级,16秒720p画质电影感拉满!代码权重全开源

0 评论 1521 浏览 0 收藏 10 分钟

抢先OpenAI一步的「国产Sora」,再给开源社区带来亿点点震撼:权重代码全开源!16秒720p高清画质一键生成,人物渲染逼真到爆,电影级变焦。而美国独角兽基于之前权重打造的数字宇宙,直接让乐高迷嗨翻了。

就在刚刚,潞晨Open-Sora团队在720p高清文生视频质量和生成时长上实现了突破性进展!

如今,全新升级的Open-Sora不仅支持无缝产出任意风格的高质量短片,而且更令人惊喜的是,团队选择再给开源社区带来亿点点震撼——继续全部开源。

开源地址:https://github.com/hpcaitech/Open-Sora

通过他们的模型权重,能够生成各种酷炫的短片,比如海浪和海螺的亲密接触,还有那些深不可测的森林秘境。

人物肖像的渲染也相当逼真。不管是中国古典美女,还是欧美风的人物,能够保持一致的风格。

还能精准渲染赛博朋克风,让短片瞬间充满强烈的未来感和科技感。

也能生成有趣生动的动画镜头,带来极具表现力的视觉体验。

即使是电影级别的镜头制作,也能轻松应对。

例如,实现流畅的变焦效果,为影片增添专业级的视觉效果。

还能帮助电影制作人员创造出逼真的电影镜头。

潞晨的Open-Sora模型以其卓越的性能揭示了视频生成领域的广阔前景,而他们的模型权重和训练代码已经全面开源,感兴趣的朋友可以访问他们的GitHub项目。

GitHub地址:https://github.com/hpcaitech/Open-Sora

01 文生视频界的开源战士

LambdaLabs,美国科技界独角兽,基于潞晨团队先前开源的Open-Sora模型权重打造了一个数字乐高宇宙,乐高迷们在这里找到了极致的创意体验。

潞晨团队深谙开源对于文生视频技术突破的加速度,他们不仅持续开源模型权重,还在Github上晒出了技术路线,让每个玩家都能成为文生视频大模型的掌控者,不再是单纯的围观群众。

报告地址:https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md

02 技术深度解码

潞晨Open-Sora团队的这份技术报告,深度剖析了本次模型训练的核心和关键。

在上一个版本基础上,引入了视频压缩网络(Video Compression Network)、更优的扩散模型算法、更多的可控性,并利用更多的数据训练出了1.1B的扩散生成模型。

在这个「算力为王」的时代,视频模型训练有两大痛点:计算资源的巨大消耗与模型输出质量的高标准。

潞晨Open-Sora团队以一种极简而有效的方案,成功地在成本和质量之间找到了平衡点。

Open-Sora团队提出了一个创新的视频压缩网络(VAE),该网络在空间和时间两个维度上分别进行压缩。

具体来说,他们首先在空间维度上进行了8×8倍的压缩,接着在时间维度上进一步压缩了4倍。通过这种创新的压缩策略,既避免了因抽帧而牺牲视频流畅度的弊端,又大幅降低了训练成本,实现了成本与质量的双重优化。

视频压缩网络结构

Stable Diffusion 3,最新的扩散模型,通过采用了rectified flow技术替代DDPM,显著提升了图片和视频生成的质量。

尽管SD3的rectified flow训练代码尚未公开,但潞晨Open-Sora团队已经基于SD3的研究成果,提供了一套完整的训练解决方案,包括:

  • 简单易用的整流(rectified flow)训练
  • 用于训练加速的Logit-norm时间步长采样
  • 基于分辨率和视频长度的时间步长采样

通过这些技术的整合,不仅能够加快模型的训练速度,还能显著减少推理阶段的等待时间,确保用户体验的流畅性。

此外,这套训练方案还支持在推理过程中输出多种视频宽高比,满足了多样化场景下的视频素材需求,为视频内容创作者提供了更加丰富的创作工具。

他们在报告中也透露了更多关于模型训练的核心细节,包括数据清洗和模型调优的实用技巧,以及构建了更完善的模型评估体系,保障模型的稳健性和泛化能力。

他们还提供了可以自行一键部署的Gradio应用,并支持调节输出的运动分数、美学分数和镜头移动方式等参数,甚至可以一键通过GPT-4o自动修改指令并支持中文输入。

03 打破闭环,开源赋能

自OpenAI Sora发布以来,业界对Sora的开放性期待值爆表,但现实却是持续的等待游戏。

潞晨Open-Sora的开源,为文生视频的创新和发展注入了强劲的活力。

「授人以鱼不如授人以渔」,访问他们的GitHub地址,即可零门槛免费获得模型权重和全套训练代码,这使用户从被动的内容消费者转变为积极的内容创造者。

这一转型为企业用户解锁了自主开发文生视频应用的新技能,无论是打造沉浸式游戏、创意广告还是制作影视大片,文生视频技术的应用场景得到了指数级扩展。

或许可以期待这股星星之火,能够点燃整个文生视频领域的创新激情,实现从点到面的燎原之势。

潞晨Open-Sora开源链接:https://github.com/hpcaitech/Open-Sora

参考资料:

https://wandb.ai/lambdalabs/lego/reports/Text2Bricks-Fine-tuning-Open-Sora-in-1-000-GPU-Hours–Vmlldzo4MDE3MTky

https://hpc-ai.com/blog/open-sora-from-hpc-ai-tech-team-continues-open-source-generate-any-16-second-720p-hd-video-with-one-click-model-weights-ready-to-use

本文由人人都是产品经理作者【新智元】,微信公众号:【新智元】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!