首页  >  资讯  >  文章
2024-06-07 11:02

国产最强文生视频模型「可灵」首发:直出2分钟超长视频,生成质量完胜OpenAI Sora丨免费体验

图片

What,什么?

《疯狂动物城》竟然都有真人版了,而且被国产AI大模型搬进现实!

欢迎进入神奇的动物世界。名为「可灵」的新一代国产AI视频生成大模型,直接生成了一则《疯狂动物城》真人版电影的预告片。🎬

注意!⚠️不是何炅…

可灵大模型受到Sora的启发,采用了相似的DiT架构技术路线,结合多项自研技术创新,生成的视频不仅运动幅度大且合理,还能模拟物理世界特性,具备强大的概念组合能力和想象力。

从参数上看,可灵大模型可以支持生成长达2分钟的30FPS的超长视频,分辨率高达1080P,且支持多种比例的视频宽高比。数据上已经超越了只能生成1分钟视频的Sora。

以下是一段2分钟的创作案例合辑——

第一个提示词为,两分钟不可思议的列车行进长镜头画面:一列火车向前方行驶,窗外的风景走过了春夏秋冬四季。整个两分多钟的画面十分连贯,出现了欧式老城、红叶、樱花、田野等等丰富多彩的场景,过渡自然。对比Sora展示的长镜头样片,有过之而无不及。

第二个提示词为:「小男孩在花园里骑自行车经历秋冬春夏四季变换」。

可灵大模型是何方神圣?

它出自国内头部的短视频玩家——快手。

图片

可灵不但在想象上天马行空,在描绘运动时又能做到符合真实的运动规律,复杂、大幅度的时空运动也能准确刻画。

比如在公路上奔跑的老虎,不仅画面连贯,随镜头角度的变化合理,老虎四肢的动作协调,而且还把奔跑过程中肚腩抖动细节也展现得淋漓尽致。

图片

还有宇航员在月球上奔跑,动作流畅,步态和影子都充满了失重感。

图片

除了符合物理规律的运动,可灵大模型还能模拟真实物理世界特性,这里要比OpenAI的Sora生成的视频更吻合物理规律。

倒牛奶的视频中,重力规律、液面的上升都符合现实,奶泡泡沫浮于上层也充分展现。

图片

注意看这只试图演奏钢琴的猫猫,钢琴亮面的烤瓷便面,反射出猫爪、猫猫头和琴键,并随着本体同步变化。

图片

都说吃东西的场景最能考验AI视频的能力。

下面的小男孩吃汉堡的视频,一口咬下去,咀嚼的嘴部细节,齿印留在面包片上,小男孩享受美食的细微表情溢于言表。

图片

要知道,符合物理规律对于所有的视频大模型来说仍是十分困难的事,OpenAI都无法处理得当。

同样是创作吃汉堡的画面,下面由Sora生成的视频相形见绌。

图片

再来看一个男子大口吃面条的视频。这个对于目前现阶段所有所有一切AI视频模型都是「绝杀」一般的考验。

但对于可灵大模型来说,似乎就是那么驾轻就熟。毕竟快手平台有着全网最全的吃播训练素材…😅

图片

反观外网,天天还拿着「威尔史密斯吃面」来测试视频大模型的性能。😂

图片

可灵大模型不仅能还原真实世界的物理规律和运动,对于幻想的场景也是信手拈来。

比如这只戴着眼镜的兔子,边喝咖啡,边看报纸,悠闲自得。

图片

同时,可灵大模型对微观特写的细节刻画也很到位,比如两朵缓慢绽放的花骨朵儿,对于花瓣和花蕊的细节刻画不输专业的延时摄影。

图片

在实用性方面,可灵大模型不仅生成的视频以假乱真,而且生成的视频比例可实现三种常见的视频宽高比。

其中的竖版9:16视频,可以说与快手的短视频生态相得益彰了,主打就是一个一步到位,简洁高效。

可灵大模型的技术原理简介

那么快手旗下的可灵大模型,都运用了哪些独特的技术打磨呢?

可灵大模型具有多项优势,包括能够生成大幅度的合理运动、模拟物理世界特性、具备强大的概念组合能力和想象力,以及支持高分辨率视频生成和自由的宽高比设置。

图片

该模型使用了Sora同款的3D时空联合注意力机制的内容生成架构,能更好地建模视频中的复杂的时空运动,从而生成更符合客观运动规律的视频。

图片

此外,可灵大模型多样化的样片展示,还突出呈现了现阶段AI视频内容创作领域最具商业潜力的落地方向——虚构概念组合能力和强大的场景想象力,可以将主创人员脑补的画面与丰富想象力转化为具体的可视化画面。

在快手AI团队研发过程中,可灵大模型配套了高效的大规模自动化数据解决方案,保障了模型效果的快速提升。

可灵AI视频模型,诞生于短视频头部大厂,也将能以最快速的方式探索落地。

在哪可以体验可灵大模型?

相比较Sora还需要等到年底才能上线,快手可没有在画饼!不画饼~不画饼!

可灵的文生视频模型已经在快手旗下「快影」视频剪辑工具内正式开启邀测。

图片

除了文生视频,「快影」APP还基于可灵大模型推出了其他相关的视频创作功能,比如“AI舞王”就是目前最具人气的创作工具,与此前阿里通义APP提供的“全民舞王”差不多的玩法,可通过一张图像生成“科目三舞蹈”。

图片

其他功能方面,基于快手的文生图模型,AI简笔画、AI文生图、AI动漫等等AI创作功能,都已在「快影」APP中上线。

现在,快手的首个文生视频大模型华丽登场,作为国内乃至世界范围内的头部短视频赛道巨头,在国内从来不缺数据与创意人才,在AI场景应用能力展示上,快手理应有所宏大的建树。

如何申请可灵大模型内测?

图片

应用商店搜索下载「快影」短视频剪辑APP,可灵大模型已经集成在其中。在APP首页可以找到「AI创作」菜单入口,再点击“AI生视频”申请体验即可。

如果没有找到该入口的话,你可以彻底退出「快影」APP,清理程序后台,重新进入APP即可。

可灵大模型项目主页:http://kling.kuaishou.com/

7

相关文章