2024-06-07 11:02
国产最强文生视频模型「可灵」首发：直出2分钟超长视频，生成质量完胜OpenAI Sora丨免费体验
What，什么？
《疯狂动物城》竟然都有真人版了，而且被国产AI大模型搬进现实！
欢迎进入神奇的动物世界。名为「可灵」的新一代国产AI视频生成大模型，直接生成了一则《疯狂动物城》真人版电影的预告片。🎬
注意！⚠️不是何炅…
可灵大模型受到Sora的启发，采用了相似的DiT架构技术路线，结合多项自研技术创新，生成的视频不仅运动幅度大且合理，还能模拟物理世界特性，具备强大的概念组合能力和想象力。
从参数上看，可灵大模型可以支持生成长达2分钟的30FPS的超长视频，分辨率高达1080P，且支持多种比例的视频宽高比。数据上已经超越了只能生成1分钟视频的Sora。
以下是一段2分钟的创作案例合辑——
第一个提示词为，两分钟不可思议的列车行进长镜头画面：一列火车向前方行驶，窗外的风景走过了春夏秋冬四季。整个两分多钟的画面十分连贯，出现了欧式老城、红叶、樱花、田野等等丰富多彩的场景，过渡自然。对比Sora展示的长镜头样片，有过之而无不及。
第二个提示词为：「小男孩在花园里骑自行车经历秋冬春夏四季变换」。
它出自国内头部的短视频玩家——快手。
可灵不但在想象上天马行空，在描绘运动时又能做到符合真实的运动规律，复杂、大幅度的时空运动也能准确刻画。
比如在公路上奔跑的老虎，不仅画面连贯，随镜头角度的变化合理，老虎四肢的动作协调，而且还把奔跑过程中肚腩抖动细节也展现得淋漓尽致。
还有宇航员在月球上奔跑，动作流畅，步态和影子都充满了失重感。
除了符合物理规律的运动，可灵大模型还能模拟真实物理世界特性，这里要比OpenAI的Sora生成的视频更吻合物理规律。
倒牛奶的视频中，重力规律、液面的上升都符合现实，奶泡泡沫浮于上层也充分展现。
注意看这只试图演奏钢琴的猫猫，钢琴亮面的烤瓷便面，反射出猫爪、猫猫头和琴键，并随着本体同步变化。
都说吃东西的场景最能考验AI视频的能力。
下面的小男孩吃汉堡的视频，一口咬下去，咀嚼的嘴部细节，齿印留在面包片上，小男孩享受美食的细微表情溢于言表。
要知道，符合物理规律对于所有的视频大模型来说仍是十分困难的事，OpenAI都无法处理得当。
同样是创作吃汉堡的画面，下面由Sora生成的视频相形见绌。
再来看一个男子大口吃面条的视频。这个对于目前现阶段所有所有一切AI视频模型都是「绝杀」一般的考验。
但对于可灵大模型来说，似乎就是那么驾轻就熟。毕竟快手平台有着全网最全的吃播训练素材…😅
反观外网，天天还拿着「威尔史密斯吃面」来测试视频大模型的性能。😂
可灵大模型不仅能还原真实世界的物理规律和运动，对于幻想的场景也是信手拈来。
比如这只戴着眼镜的兔子，边喝咖啡，边看报纸，悠闲自得。
同时，可灵大模型对微观特写的细节刻画也很到位，比如两朵缓慢绽放的花骨朵儿，对于花瓣和花蕊的细节刻画不输专业的延时摄影。
在实用性方面，可灵大模型不仅生成的视频以假乱真，而且生成的视频比例可实现三种常见的视频宽高比。
其中的竖版9:16视频，可以说与快手的短视频生态相得益彰了，主打就是一个一步到位，简洁高效。
那么快手旗下的可灵大模型，都运用了哪些独特的技术打磨呢？
可灵大模型具有多项优势，包括能够生成大幅度的合理运动、模拟物理世界特性、具备强大的概念组合能力和想象力，以及支持高分辨率视频生成和自由的宽高比设置。
该模型使用了Sora同款的3D时空联合注意力机制的内容生成架构，能更好地建模视频中的复杂的时空运动，从而生成更符合客观运动规律的视频。
此外，可灵大模型多样化的样片展示，还突出呈现了现阶段AI视频内容创作领域最具商业潜力的落地方向——虚构概念组合能力和强大的场景想象力，可以将主创人员脑补的画面与丰富想象力转化为具体的可视化画面。
在快手AI团队研发过程中，可灵大模型配套了高效的大规模自动化数据解决方案，保障了模型效果的快速提升。
可灵AI视频模型，诞生于短视频头部大厂，也将能以最快速的方式探索落地。
相比较Sora还需要等到年底才能上线，快手可没有在画饼！不画饼~不画饼！
可灵的文生视频模型已经在快手旗下「快影」视频剪辑工具内正式开启邀测。
除了文生视频，「快影」APP还基于可灵大模型推出了其他相关的视频创作功能，比如“AI舞王”就是目前最具人气的创作工具，与此前阿里通义APP提供的“全民舞王”差不多的玩法，可通过一张图像生成“科目三舞蹈”。
其他功能方面，基于快手的文生图模型，AI简笔画、AI文生图、AI动漫等等AI创作功能，都已在「快影」APP中上线。
现在，快手的首个文生视频大模型华丽登场，作为国内乃至世界范围内的头部短视频赛道巨头，在国内从来不缺数据与创意人才，在AI场景应用能力展示上，快手理应有所宏大的建树。
应用商店搜索下载「快影」短视频剪辑APP，可灵大模型已经集成在其中。在APP首页可以找到「AI创作」菜单入口，再点击“AI生视频”申请体验即可。
如果没有找到该入口的话，你可以彻底退出「快影」APP，清理程序后台，重新进入APP即可。
可灵大模型项目主页：http://kling.kuaishou.com/
相关文章
雷小军
量子位
数字生命卡兹克
