阿里发布视频生成模型MotionShop:支持AI数字人物一键替换,让“二次元老婆”跳宅舞,免费玩!开源圈杀疯!
?机器人舞蹈,大跳「机械舞」,但不是??波士顿动力的那种~??
机器人复刻迈克尔·杰克逊,竟然毫不逊色!?
这究竟是怎么回事?
原来,阿里又整出跳舞模型新活儿——全新的AI数字人像生成模型框架。新框架支持一键替换原视频当中的动态人物,并且完美还原原版舞蹈。
这款新模型名叫MotionShop,能够将识别的人像转换为3D影像,同时又不改变其他场景和人物。
我们再看一个,让漂亮的小姐姐教咱们的《原神》人气角色可莉扭腰姿。
让?小猪跟着师傅学打太极。
二次元虚拟偶像跳起了Kpop女团劲舞。
阿里新花活儿,目前支持免费体验。
看到这里,已经有人迫不及待打开了阿里的ModelScope魔搭社区试玩起来。不过确实承认,最近阿里的花活好多,手持国内最强算力就是有底气。
目前MotionShop支持在线生成,只需三步:
①上传视频
②框选视频当中需要替换的目标对象
③选择要替换的虚拟人物
实测后发现,需要注意以下几点:
首先上传的视频,尽量不要超过15秒,并且保证人物整体的完整性,而且不能存在断帧剪辑的情况。换句话说,原片素材需要一镜到底。
目前魔搭社区提供可替换的虚拟形象只有四款而已。
不过好在,这款模型后边还会继续升级体验,可玩性还会加强。最后就是比较漫长的排队等待时间,通常需要十来二十分钟。
MotionShop是如何实现视频生成的?
阿里人工智能研究团队提出了使用3D人物替换视频当中的角色的想法,可以将大大缩短视频内容转换的周期与效率。
整个内容生成转换框架由两部分组成:
①提取将人物抠图后,需要修复的视频背景进行处理
②将抠出来的人物生成3D动态影像所需要的静态帧
通过并行两条处理管线,再结合高性能的光线追踪渲染器工具,整个工作流结合下来,就可以将修复后的背景加入3D动态跳舞人物。
我们可以通过上边这个技术原理分解图,大致了解到,如何使得二次元人物临摹「科目三」舞蹈片,从而得到一段替换人物的跳舞视频。
阿里啊~阿里,这次彻底跟跳舞视频模型杠上了~!
感兴趣的家人们可以戳下方的地址进行体验:
EVA在下方整理了阿里近期发布的其他AI生成模型:
马斯克狂跳「科目三」全网刷屏!阿里通义千问上线“全民舞王”集成Animate Anyone视频模型:免费创作AI舞蹈
2024新年伊始,阿里凭借AI项目再次杀上热搜榜!最近两天,抖音平台充斥了各种“马斯克狂跳「科目三」舞蹈”的短片,正是出自阿里云的通义千问之手。
阿里发布AI图像快速替换模型ReplaceAnything丨Meta承认使用盗版书籍进行AI训练丨罗永浩回应转战大模型:报道不实
【AI奇点网2024年1月16日早报】本站每日播报AI业界最新资讯,触摸时代脉搏,掌握未来科技动向。事不宜迟,点击查看今日AI资讯早餐。