首页  >  教程  >  文章
2023-11-30 14:46

教你玩转Pika 1.0:可能是地表最好用的AI视频生成器,风格迁移+填充扩图+局部修改,一键生成动画马斯克

图片

AI生成视频赛道,又要发生大地震了。

这个11月,AI视频生成领域卷到极致了!短短一个月不到,就有5家顶级开发商(Runway、Meta、字节跳动、Stability AI、Pika Labs)打造出新一代视频生成模型。

图片

相信最近Runway的大红大紫,家人们想必已经领教过。

不了解的亲亲,建议去复习一下??上周的推文。

相关阅读?:

被外界誉为「Runway Gen-2最强竞品」的Pika,暌违半年,官方忽然放出大招——Pika 1.0正式发布!

我们先来看看相同参考图在Pika与Runway生成质感的对比。?

这家仅成立六个月的公司,结束了测试版,正式发布第一个产品,能够生成和编辑3D动画、2D动漫、卡通和各种画风的电影。

图片

Pika的诞生

Pika产品的诞生,颇具浪漫色彩。

又是一个从斯坦福大学退学——进而成长为CEO的故事——

图片

Pika Labs创始人、美女科学家郭文景(Demi Guo)和联合创始人兼CTO孟晨琳(Chenlin Meng),都是斯坦福大学AI Lab的博士生。

图片

机缘十分巧合,Pika Labs的创立竟然还是竞品Runway提供的契机。

郭文景和同学曾在2022年参加Runway举办的首届AI电影节,发现Runway和Adobe Photoshop的工具并不好用,自己创作的AI视频作品也并未获奖。

今年4月,郭文景决定从斯坦福大学退学,开发更好用的AI视频工具,Pika由此诞生。

Pika 1.0生成效果怎么样?

事不宜迟,端上Pika 1.0正式版官方宣传片??

动画电影级质感!流畅的转场特效,Pika 1.0正式版效果炸裂!

引起全网轰动的官方放出的宣传片。一句提示词:“elon musk in a space suit, 3d animation”,马斯克瞬间进入二次元宇宙。

炸裂的是,3D动画版的马老板不但神形兼备,而且背景和动作都非常合理连贯,面部一致性也惊人的完美!

对比Runway Gen-2和Pika测试版之前的视频效果,Pika 1.0正式版仿佛就不是一个量级的产品。

真正的每个人都能成为自己的视频导演。

图片

“3D动画马斯克”已经足够惊艳世人,官方马上秀出了Pika 1.0生成其他风格的视频效果。

从普通的2D动画,到实拍感十足的电影场景,生成的视频呈现出了完美的光影,精致的细节,多样化的镜头控制。

图片

不知道传统的电影人看到这里是什么心情。

图片

「实拍狂魔」诺兰心里会不会发怵??

而真正引发全网欢呼的,是Pika Labs 1.0能够支持对于视频实时编辑和修改。

这些连AI生图领域都才刚刚获得的能力,Pika Labs就能把它们扩展到AI视频中来。可见他们团队的技术和工程能力真是强得令人发指。

类似于AI绘图工具Midjourney的「AI扩图」功能,Pika 1.0可以根据视频素材直接扩展视频的画布超尺寸,生成16:9、9:16、1:1和5:2不同高宽比的内容。更方便创作者适配抖音、快手等竖屏视频平台。

图片

乖乖~视频营销号的最佳创作利器??

更为夸张的是,Pika 1.0可以直接在视频中添加想要的素材。

只要用鼠标框选需要调整的画面区域,输入提示词「一副酷酷的太阳镜」?,马上就能给视频中的?狒狒精确地戴上墨镜,和原视频完美契合。

图片

对于视频中人物的着装,也只要简单框选一个大概的范围,文本输入想要的服装风格,就能实现“一键换装”。?

图片

⭐️这简直就是魔法!?

支持“文生视频”“图生视频”“视频局部调整”三种途径的提示词控制,让Pika 1.0直接对标Runway的几乎所有的功能。

文生视频,所有人物、动物的面部表情都非常完美,加上好莱坞动画级别的细节和光影效果,很难想象这个公司成立仅仅半年。

图片

图片配合提示词生成动画,图片为第一帧,文字控制动画变化效果和镜头。

图片

而根据用户提供的视频素材,配合提示词来制作不同风格的动画,更是手到擒来。

从像素风到写实到黑白幻灯片特效,演示出的5种风格迁移,轻松涵盖了现有电影和动画的主流风格。

图片

总结一下,全新的Pika 1.0模型的新功能包括:

☑️文本生成视频/图像生成视频:输入几行提示词或上传一张参考图像,就可以通过AI创建简短、高质量的视频。

☑️A视频⇋B视频不同的风格转换:将现有的视频转换为不同的风格,包括不同的角色和对象,同时保持视频内对象的结构。

☑️扩展视频画布(Expand):扩展视频的画布或宽高比。将视频从抖音的 9:16竖屏尺寸更改为宽屏的16:9格式,AI模型将预测超出原始视频边界的内容。

☑️更改:使用AI编辑视频内容,比如更换衣服、添加另一个角色、更改环境或添加道具。

☑️延长视频(Extend):使用AI扩展现有视频剪辑的长度。

☑️全新的网页界面:Pika 1.0将在其官网以及Discord平台上线新模型,支持桌面与移动双端的网页在线生成AI视频。

图片

从现在Pika 1.0能实现的功能来看,两位创始人生成Runway干得不够出色,自己才出来创业,现在看来一点都不夸张。

Pika Labs团队几乎在6个月的时间里干出了Runway一两年的成绩,还针对Runway产品中现存的短板进行了弥补。

比如:

  • AI精准的语义理解能力,准确生成神形兼备的3D动画版马斯克
  • 几乎完美的人物面部一致性,生成动画的人脸不会发生明显的畸变
  • 出色的视频再编辑能力,能让用户添加和修改视频中不存在的元素

Pika的内容创意总监几天前放出了一段由Pika的“文生视频”AI创作功能制作的3D动画预告片,效果萌到爆。?

以及今年10月底,Pika为了迎接新版发布,提前制作的一段万圣节主题的动画短片Demo,效果也是非常赞!??

Pika 1.0怎么玩?

正如EVA在四个月前预测的那样,Pika 1.0正式版在自家官网上推出了用户体验更友好的在线网页版。

不用在Discord中一遍遍@机器人,就能直接上手玩。唯一的问题就是,报名排队的队伍真的很长!???

图片

当然,等不及的家人也可以先移步到Discord社区上手体验一番。??‍♀️

尽管Discord上的版本还不是Pika 1.0,先体验预览一下视频生成的效果,还不错。加入社区之后,直奔【CREATIONS】板块,从下面的10个房间随便挑一个进去即可开耍。

图片

?鼠标点击文本输入框的「+」号,或者在输入框中输出斜杠“/”,选择“/create”命令选项。

图片

我们随便输入一个“a robot dancing in the rain, sunset, 4k, -gs 8”的提示词交给机器人。

大概也就不到一分钟,AI视频就出来了,速度相当快:

图片

效果嘛,?下雨天没有表现得很明显,能看到湿漉漉的地面反光,但机器人的肢体动态感真的很强。

我们再来尝试一个稍微长一些的提示词:

“a teenager walks through the city streets, takes pictures of places”,一个少年穿过城市的街道,拍摄当地的照片。

生成仍然超级快,结果就出来了:

图片

Wow!这次真的很满意,画面符合提示词的描述预期,甚至比我们想象的还要好。

图片

除了纯文本提示词,咱还可以上传一张?猫咪思考表情包进行动态转换创作,选择“/animate”命令选项。

图片

铛铛~一张静态的表情包就动起来了:

图片

总的来看,Pika生成的视频时长都是3秒,Discord上的测试版并不能保证每一次生成的效果都令人满意,但多试几次还是有不错的输出结果。

我们也来看看世界各地的其他网友作品,其中不乏非常惊艳的效果。

比如,有人创作的??这只小怪兽,憨态可掬,让人忍不住想摸一把。

图片

还有下面这段两位小姑娘演奏的片段,似乎真的听到了优美的歌声萦绕。

图片

最绝的,还是这个?白鸽翻飞,围绕美女的场面——也太有氛围感了吧~

图片

关于Pika在Discord上的使用方法,可以参考??之前EVA撰写的体验与教学文章:

?相关阅读:

新用户加入Discord是需要受邀的,我已经在Discord生成邀请码啦~直接点击下方的Pika工具卡片获取。

你还可以登录Pika Labs官网进行Pika 1.0网页版内测申请,先排个队吧:

1
查看相关话题: #AI视频 #AI视频生成 #Pika

相关文章