腾讯上线Nomas,一个交互式世界模型

0 评论 301 浏览 0 收藏 8 分钟

腾讯混元视觉团队上线 Hy-Nomas,输入一段场景描述就能生成可漫游的 AI 世界,用 WASD 像玩游戏一样推镜头。作者拿橘猫厨房实测了多轮续写,也试了三种人称视角切换。

近日,腾讯上线了产品叫做 Hy-Nomas。

这是一个交互式视频世界生成模型。

或者叫做 AI 世界生成器,由混元的视觉生成团队推出。

你用文字描述一个场景,它会按照要求生成这个场景。

后续你可用提示词或者键盘操控镜头,它会按照你的要求边创建世界,边生成视频。

接下来,自己创作实测下。

1 创作实测

比如我输入我想创作的场景:

环境描述:日出时分,一个宽敞温馨的大厨房,木质台面,悬挂着铜锅,空气中弥漫着面粉的尘埃。

主体描述:一只橘色可爱猫咪,在灶台上,盯着前面

视觉:第一人称视角

Hy-Nomas 会按照你的描述,创作一个 AI 虚拟世界场景。

20 多秒后,猫咪在厨房的现场视频就生成了。

可以看看效果,很细腻真实。

然后,在这个场景我继续增加提示词。

这时,猫咪懒洋洋地站起来,伸了个懒腰,往前走了两步

它会继承之前的场景和动作,继续往下生成。

效果如下。

你不仅可以通过提示词,创建 AI 视频世界。

还能通过键盘控制镜头的方式,进行创作。

WASD 控制前进后退,方向键控制视角,像玩游戏一样在里面逛。

视频的镜头,会按照你的按键进行运转。

整体效果如下。

所以,你可以使用提示词,和镜头,交替去控制视频,非常灵活的镜头效果。

我后面又创作了几个 AI 世界,可看看。

在创作时,你可以选择不一样的视觉。

有第一、二、三人称视角,和第三人称的观察者视角。

你可按需选择。

对于生成的视频,如果你不满意,可重新调整提示词生成。

也可以保存当前创作的 AI 世界。

当然, 也支持将生成的视频下载下来。

视频保存时,可选择保存带提示词的视频,或者纯粹保存视频。

对于已生成并且保存下来的世界,可继续进行创作。

比如,我可以把我之前创作的一个视频,当作下一个想创造的世界的起点。

目前,Hy-Nomas 这个交互式视频世界模型。

最长支持 1 分钟的视频生成。

并且各种视觉和镜头下,复杂场景和背景,都保持不变。


2 和普通视频生成的区别

在体验世界视频模式的过程中。

感觉它和普通的视频生成完全不同。

普通的视频生成,你说一句提示词,它会一口气生成一段固定视频,不行再全部重新生成。

经常为了生成自己想要的视频,好多次生成,也就是抽卡。

并且提示词越写越复杂,越写越多。

Hy-Nomas这类世界视频模型,不是一口气生成一个固定视频。

而是一段一段的生成。

你每看完一段,可以决定下一段要生成什么。

可加个角色,加个场景,改个运镜,改个风格,让角色做个指定动作等。

都可以即时去调整。

可以边做边改,AI 实时帮你生成。

3、Hy-Nomas使用小结

在实测体验中,可以感受到 Hy-Nomas 的几个特点。

可以通过小段小段的多轮提示词,来控制视频制作,按照自己设想的方式走。

而不是大段的提示词,一次性生成。

同时,支持提示词和键盘控制摄像头的镜头控制。

可交替、组合使用,非常方便,效果也非常好。

支持长世界视频生成,最高能生成 60 秒。

各种视角、镜头下,能保持复杂场景和背景不变。

并且, 还支持第一、二、三多种视角和风格。

  • 游戏开发者,可以用来快速生成游戏场景原型。
  • 影视创作者,可以用来创作预演镜头,或进行分镜设计。
  • 文旅行业,可生成各种视角下的虚拟漫游的景区,虚拟展厅。
  • 视频爱好者或者普通用户,也可以把自己设想中的画面,创作成一个AI 世界。

等等,应用场景还是挺广的。

随着世界视频模型的进一步成熟。

视频的创作,将迎来新的打开方式。

本文由作者【三哥】,微信公众号:【产品笔记】,原创/授权 发布于平台,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 目前还没评论,等你发挥!