2023-12-05 16:25
阿里搞出逆天AI视频生成模型Animate Anyone火遍全网：图生视频超流畅，AI小姐姐丝滑狂跳「科目三」
最近「科目三」舞蹈在抖音上实在太火了！就连百亿大厂海底捞都下场接起了地气。🤦🏻♀️
那如果~如果，让喜欢的IP角色跳起了「科目三」是什么光景呢?
在11月，我们接连看到了五家公司推出了新一代的AI视频模型，无论是文生视频还是图生视频，简直卷疯了!
三款民用级的AI视频生成器复习功课放在下边：
🔗推荐阅读：
无脑制作AI视频，有手就行！Runway Gen-2“运动笔刷”功能实测：免费体验，一键让AI小姐姐灵动起来
今天的这篇文章~咱们先来看一个动图——它是基于Runway Gen-2生成的AI视频。不告诉你的话，大多会以为是塞尔达游戏视频片段嘛。
“图生视频”赛道新选手！Stable Diffusion超进化：推出全新视频生成大模型Video Diffusion，教你免费在线成片
知名AI图像生成模型开发商Stability AI发布旗下首款视频生成大模型Stable Video Diffusion。有国外开发者将Video Diffusion的开源代码做成了在线体验页面。
教你玩转Pika 1.0：可能是地表最好用的AI视频生成器，风格迁移+填充扩图+局部修改，一键生成动画马斯克
Pika Labs这家仅成立六个月的公司，结束了测试版，正式发布第一个产品Pika 1.0 AI视频生成器，能够生成和编辑3D动画、2D动漫、卡通和各种画风的电影。
今天，我们将看到直播行业也迎来了“龙卷风时刻”!🌪
阿里旗下大模型研究团队正式对外发布名为「Animate Anyone」的AI视频转换项目。顾名思义，就是「让一切人物活起来」。
只需给它一张人物照片，结合骨骼动捕的关键节点动画，就能生成一段「科目三」舞蹈动态视频。
最绝绝子的是，不管什么风格的图像都可以驾驭~
无论是全身人像、半身人像，卡通角色还是真人角色，逼真高清自然流畅的AI图生视频质感，高度的一致性与稳定性令人啧啧称奇。
写实的AI数字人，动感十足——
让抖音的AI小姐姐舞一段，与人类舞者毫不逊色。
EVA感觉，B站舞蹈区阿婆主快要阵亡…
让内向的梅老板也给咱们跳上一段~
二次元小姐姐社会摇~抖起来!!
钞能力的钢铁侠也来上一段~
有了AI加持，希望漫威可以把做特效的成本省下来打磨剧本…
迪迦奥特曼，不仅有光芒，而且更妖娆…😂
针对游戏行业有强烈刚需的3D建模人物也同样可以舞动起来。
让我们再看几段抖音小姐姐的应用“实战”——注意，“她们”实际上都是一张平面图罢了。
你以为这就完了吗?
让世界名画《戴珍珠耳环的少女》《蒙娜丽莎》一块来做瑜伽。
是的没错——AI图像生成视频，已经不是我们先前认知的那种仅限于小范围区域的躯体动态变化了，如今甚至可以置换空间场景。
除了单人模式，多人同框舞蹈，AI也可以精准控制。
什么劲舞女团MV，将来都给我AI化嘞~
😂回忆一下，也就在今年上半年，AI绘图领域的多人同框还会经常出现「克隆人老婆效应」呢。
看到这里，不禁让人大呼，首先失业的可能还不是舞蹈区的UP主小姐姐。而是Live2D的创作者。
看完疗效，我们接着来看疗程。
该项目的技术本质，其实还是通过在AI绘图领域应用最广的「扩散模型」实现，不过阿里团队重新构建了一个专为动态角色动画定制的新框架。
在过去我们见到的AI视频都会觉得闪烁厉害，卡成PPT，眨眼补帧。
阿里团队为了解决参考图像中复杂外观特征的一致性，设计了名为ReferenceNet的生成算法控件，通过空间注意力机制合并图像当中的细节特征。
简而言之，就是让AI自己去辨识图像中哪些地方是不变的，哪些地方是变化的。这样就可以确保人物角色的发色发型、服饰特征以及背景在整个视频里边保持着高度的一致性。
丝滑，流畅，干脆利落！👍🏻
对比其他竞品模型的算法，阿里团队（最右的Ours）“遥遥领先”~
当这种方法应用在二次元人物身上时，相较于真人肖像，动漫人物的细节纹理复杂度下降，它的生成输出结果会更出色。
Animate Anyone不仅在技术层面引人注目，其应用前景同样广阔。
无论是对于动画制作产业、游戏产业、直播电商产业还是短视频生产链，结合AI数字人替身进行生成，将具备行业颠覆性的表现。
通过下图，我们可以看到AI为生成视频创建的瞬时静帧，每一张都拥有高度的一致性，不仔细辨别很难发现差异性。
在进行AI模型训练的时候，阿里团队使用了5000+的角色视频片段进行演算训练，并采用工具针对动态视频里边的人物角色进行姿势序列提取，让AI进行自主学习舞蹈动作变化的规律，并生成24帧的流畅动画。
Animate Anyone项目不仅展示了AI在图像到视频合成方面的新成就，也为未来的影视艺术创作、剧集制作甚至消费级的个人娱乐开辟了新的可能性。
不仅如此，作为阿里旗下的研究团队，该项目还为我们展示了AI淘宝模特动态走T台的无限可能。
设想一下，将来你只需用手机拍摄一张衣服的照片，就可以让“AI模特”，乃至用户自行生成自己的专属“AI数字替身”，替你穿上服饰并且为你走一段猫步。科技改变生活，这并不是幻想~✌🏻
这大概，就是马云前几天提到所谓的「AI电商」的精神价值所在吧。
EVA歪头想了一下，新技术对于人类舞蹈演员和模特们的打击还是蛮大的——过去的主播卷颜值~卷身材~卷擦边，将来不得不靠着铁打的舞蹈功底与AI正面干仗!
Animate Anyone项目已经挂到了GitHub上，目前还没有开源，不过官方承诺后边会放出源代码。
这款新模型现阶段存在三个局限性：
1️⃣AI生图老生常谈的问题——AI生成的手部动作时可能会出现扭曲变形和运动模糊
2️⃣由于参考图像往往只有一个视角，生成的动态角色在移动时，AI自行“脑补”生成的部分可能存在不稳定性
3️⃣该模型的运算效率较低，还不是民用级，需要进一步优化模型输出的执行效率，以提高动画的生成速度和实时性能
如果你对于这个项目感兴趣的话，不妨先收藏该项目的GitHub页面，上边已经发布了公开的技术文档：
据说会在一个月后放出开源代码。白了个白~👋🏻
相关文章
雷小军
Felix
