教你玩转Pika 1.0:可能是地表最好用的AI视频生成器,风格迁移+填充扩图+局部修改,一键生成动画马斯克
AI生成视频赛道,又要发生大地震了。
这个11月,AI视频生成领域卷到极致了!短短一个月不到,就有5家顶级开发商(Runway、Meta、字节跳动、Stability AI、Pika Labs)打造出新一代视频生成模型。
相信最近Runway的大红大紫,家人们想必已经领教过。
不了解的亲亲,建议去复习一下??上周的推文。
相关阅读?:
无脑制作AI视频,有手就行!Runway Gen-2“运动笔刷”功能实测:免费体验,一键让AI小姐姐灵动起来
今天的这篇文章~咱们先来看一个动图——它是基于Runway Gen-2生成的AI视频。不告诉你的话,大多会以为是塞尔达游戏视频片段嘛。
被外界誉为「Runway Gen-2最强竞品」的Pika,暌违半年,官方忽然放出大招——Pika 1.0正式发布!
我们先来看看相同参考图在Pika与Runway生成质感的对比。?
这家仅成立六个月的公司,结束了测试版,正式发布第一个产品,能够生成和编辑3D动画、2D动漫、卡通和各种画风的电影。
Pika产品的诞生,颇具浪漫色彩。
又是一个从斯坦福大学退学——进而成长为CEO的故事——
Pika Labs创始人、美女科学家郭文景(Demi Guo)和联合创始人兼CTO孟晨琳(Chenlin Meng),都是斯坦福大学AI Lab的博士生。
机缘十分巧合,Pika Labs的创立竟然还是竞品Runway提供的契机。
郭文景和同学曾在2022年参加Runway举办的首届AI电影节,发现Runway和Adobe Photoshop的工具并不好用,自己创作的AI视频作品也并未获奖。
今年4月,郭文景决定从斯坦福大学退学,开发更好用的AI视频工具,Pika由此诞生。
事不宜迟,端上Pika 1.0正式版官方宣传片??
动画电影级质感!流畅的转场特效,Pika 1.0正式版效果炸裂!
引起全网轰动的官方放出的宣传片。一句提示词:“elon musk in a space suit, 3d animation”,马斯克瞬间进入二次元宇宙。
炸裂的是,3D动画版的马老板不但神形兼备,而且背景和动作都非常合理连贯,面部一致性也惊人的完美!
对比Runway Gen-2和Pika测试版之前的视频效果,Pika 1.0正式版仿佛就不是一个量级的产品。
真正的每个人都能成为自己的视频导演。
“3D动画马斯克”已经足够惊艳世人,官方马上秀出了Pika 1.0生成其他风格的视频效果。
从普通的2D动画,到实拍感十足的电影场景,生成的视频呈现出了完美的光影,精致的细节,多样化的镜头控制。
不知道传统的电影人看到这里是什么心情。
「实拍狂魔」诺兰心里会不会发怵??
而真正引发全网欢呼的,是Pika Labs 1.0能够支持对于视频实时编辑和修改。
这些连AI生图领域都才刚刚获得的能力,Pika Labs就能把它们扩展到AI视频中来。可见他们团队的技术和工程能力真是强得令人发指。
类似于AI绘图工具Midjourney的「AI扩图」功能,Pika 1.0可以根据视频素材直接扩展视频的画布超尺寸,生成16:9、9:16、1:1和5:2不同高宽比的内容。更方便创作者适配抖音、快手等竖屏视频平台。
乖乖~视频营销号的最佳创作利器??
更为夸张的是,Pika 1.0可以直接在视频中添加想要的素材。
只要用鼠标框选需要调整的画面区域,输入提示词「一副酷酷的太阳镜」?,马上就能给视频中的?狒狒精确地戴上墨镜,和原视频完美契合。
对于视频中人物的着装,也只要简单框选一个大概的范围,文本输入想要的服装风格,就能实现“一键换装”。?
⭐️这简直就是魔法!?
支持“文生视频”“图生视频”“视频局部调整”三种途径的提示词控制,让Pika 1.0直接对标Runway的几乎所有的功能。
文生视频,所有人物、动物的面部表情都非常完美,加上好莱坞动画级别的细节和光影效果,很难想象这个公司成立仅仅半年。
图片配合提示词生成动画,图片为第一帧,文字控制动画变化效果和镜头。
而根据用户提供的视频素材,配合提示词来制作不同风格的动画,更是手到擒来。
从像素风到写实到黑白幻灯片特效,演示出的5种风格迁移,轻松涵盖了现有电影和动画的主流风格。
总结一下,全新的Pika 1.0模型的新功能包括:
☑️文本生成视频/图像生成视频:输入几行提示词或上传一张参考图像,就可以通过AI创建简短、高质量的视频。
☑️A视频⇋B视频不同的风格转换:将现有的视频转换为不同的风格,包括不同的角色和对象,同时保持视频内对象的结构。
☑️扩展视频画布(Expand):扩展视频的画布或宽高比。将视频从抖音的 9:16竖屏尺寸更改为宽屏的16:9格式,AI模型将预测超出原始视频边界的内容。
☑️更改:使用AI编辑视频内容,比如更换衣服、添加另一个角色、更改环境或添加道具。
☑️延长视频(Extend):使用AI扩展现有视频剪辑的长度。
☑️全新的网页界面:Pika 1.0将在其官网以及Discord平台上线新模型,支持桌面与移动双端的网页在线生成AI视频。
从现在Pika 1.0能实现的功能来看,两位创始人生成Runway干得不够出色,自己才出来创业,现在看来一点都不夸张。
Pika Labs团队几乎在6个月的时间里干出了Runway一两年的成绩,还针对Runway产品中现存的短板进行了弥补。
比如:
Pika的内容创意总监几天前放出了一段由Pika的“文生视频”AI创作功能制作的3D动画预告片,效果萌到爆。?
以及今年10月底,Pika为了迎接新版发布,提前制作的一段万圣节主题的动画短片Demo,效果也是非常赞!??
正如EVA在四个月前预测的那样,Pika 1.0正式版在自家官网上推出了用户体验更友好的在线网页版。
不用在Discord中一遍遍@机器人,就能直接上手玩。唯一的问题就是,报名排队的队伍真的很长!???
当然,等不及的家人也可以先移步到Discord社区上手体验一番。??♀️
尽管Discord上的版本还不是Pika 1.0,先体验预览一下视频生成的效果,还不错。加入社区之后,直奔【CREATIONS】板块,从下面的10个房间随便挑一个进去即可开耍。
?鼠标点击文本输入框的「+」号,或者在输入框中输出斜杠“/”,选择“/create”命令选项。
我们随便输入一个“a robot dancing in the rain, sunset, 4k, -gs 8”的提示词交给机器人。
大概也就不到一分钟,AI视频就出来了,速度相当快:
效果嘛,?下雨天没有表现得很明显,能看到湿漉漉的地面反光,但机器人的肢体动态感真的很强。
我们再来尝试一个稍微长一些的提示词:
“a teenager walks through the city streets, takes pictures of places”,一个少年穿过城市的街道,拍摄当地的照片。
生成仍然超级快,结果就出来了:
Wow!这次真的很满意,画面符合提示词的描述预期,甚至比我们想象的还要好。
除了纯文本提示词,咱还可以上传一张?猫咪思考表情包进行动态转换创作,选择“/animate”命令选项。
铛铛~一张静态的表情包就动起来了:
总的来看,Pika生成的视频时长都是3秒,Discord上的测试版并不能保证每一次生成的效果都令人满意,但多试几次还是有不错的输出结果。
我们也来看看世界各地的其他网友作品,其中不乏非常惊艳的效果。
比如,有人创作的??这只小怪兽,憨态可掬,让人忍不住想摸一把。
还有下面这段两位小姑娘演奏的片段,似乎真的听到了优美的歌声萦绕。
最绝的,还是这个?白鸽翻飞,围绕美女的场面——也太有氛围感了吧~
关于Pika在Discord上的使用方法,可以参考??之前EVA撰写的体验与教学文章:
?相关阅读:
Runway最佳免费平替!如何使用最新的AI视频生成工具Pika AI进行“文生视频”“图生视频”?
Pika这款工具7月份在AIGC界横空出世,被圈内誉为目前“全球最好的文本生成视频AI工具”之一,也被认为是另外一款知名AI视频生成工具Runway的强有力挑战者。
新用户加入Discord是需要受邀的,我已经在Discord生成邀请码啦~直接点击下方的Pika工具卡片获取。
你还可以登录Pika Labs官网进行Pika 1.0网页版内测申请,先排个队吧: