首页  >  资讯  >  文章
2024-01-22 16:59

阿里发布视频生成模型MotionShop:支持AI数字人物一键替换,让“二次元老婆”跳宅舞,免费玩!开源圈杀疯!

图片

?机器人舞蹈,大跳「机械舞」,但不是??波士顿动力的那种~??

机器人复刻迈克尔·杰克逊,竟然毫不逊色!?

图片

这究竟是怎么回事?

原来,阿里又整出跳舞模型新活儿——全新的AI数字人像生成模型框架。新框架支持一键替换原视频当中的动态人物,并且完美还原原版舞蹈。

这款新模型名叫MotionShop,能够将识别的人像转换为3D影像,同时又不改变其他场景和人物。

我们再看一个,让漂亮的小姐姐教咱们的《原神》人气角色可莉扭腰姿。

图片

让?小猪跟着师傅学打太极。

图片

二次元虚拟偶像跳起了Kpop女团劲舞。

图片

阿里新花活儿,目前支持免费体验。

看到这里,已经有人迫不及待打开了阿里的ModelScope魔搭社区试玩起来。不过确实承认,最近阿里的花活好多,手持国内最强算力就是有底气。

目前MotionShop支持在线生成,只需三步:

①上传视频

②框选视频当中需要替换的目标对象

③选择要替换的虚拟人物

图片

实测后发现,需要注意以下几点:

首先上传的视频,尽量不要超过15秒,并且保证人物整体的完整性,而且不能存在断帧剪辑的情况。换句话说,原片素材需要一镜到底。

目前魔搭社区提供可替换的虚拟形象只有四款而已。

图片

不过好在,这款模型后边还会继续升级体验,可玩性还会加强。最后就是比较漫长的排队等待时间,通常需要十来二十分钟。

MotionShop是如何实现视频生成的?

阿里人工智能研究团队提出了使用3D人物替换视频当中的角色的想法,可以将大大缩短视频内容转换的周期与效率。

整个内容生成转换框架由两部分组成:

①提取将人物抠图后,需要修复的视频背景进行处理

②将抠出来的人物生成3D动态影像所需要的静态帧

通过并行两条处理管线,再结合高性能的光线追踪渲染器工具,整个工作流结合下来,就可以将修复后的背景加入3D动态跳舞人物。

图片

我们可以通过上边这个技术原理分解图,大致了解到,如何使得二次元人物临摹「科目三」舞蹈片,从而得到一段替换人物的跳舞视频。

阿里啊~阿里,这次彻底跟跳舞视频模型杠上了~!

感兴趣的家人们可以戳下方的地址进行体验:

EVA在下方整理了阿里近期发布的其他AI生成模型:

3

相关文章