2024-03-11 15:48
弯道超车Sora！AI文生视频工具Pika 1.0新功能上线：为AI视频一键生成对应音效丨第一手实测
刚刚过去的周末，知名文生视频创作平台Pika发布了一项新功能：
——很抱歉我们之前一直处于「静音状态」。
今天起，大家可以给视频一键生成音效——Sound Effects来了！
插一句嘴，家人们知道「Pika」是什么吗？就是皮卡丘的「皮卡」~
Pika允许用户通过提示词指定生成特种配音的音效；也可以让AI系统自行解读视频内容来进行音效生成。
对于新功能，Pika非常自信地提到：「如果你觉得音效听起来很棒，那是因为它确实如此。」
话不多说，我们直接来听一下。
引擎轰鸣声、电台广播声、鸟叫声、刀剑声、欢呼声……可谓声声不息，从观感上看，与视频画面也高度匹配。
自从前阵子Sora蹿红，让文生视频模型再次成为科技圈焦点。
但是大模型生成的视频基本是无声默片。因此，曾经引爆了AI圈的Pika Labs终于有了今天的新动作，使劲「卷」吧!
根据用户提供的描述生成音效，Pika目前可提供多达6种生成结果供以选择！
Pika的Sound Effects功能目前只开放给超级合作者和Pro订阅用户测试，普通用户暂时还需要等等。
除了上边的宣传片，Pika官方放出了许多Demo片段，都十分精彩。
例如滋滋冒油的烤肉声音，还能隐约看到烤肉时冒出的烟雾，高清的画面配上逼真的音效，让人顿时垂涎欲滴。
不喜欢当前音效，如果你想换个音效，也很容易，只需点击视频下方的「Redo」按钮，在出现的对话框中，输入你想要的音频描述就可以了。
小青蛙趴在荷叶上呱呱地叫，仔细聆听，还能听见远处的蝉鸣声。
烟花在夜空中绽放，绽放瞬间发出响亮的爆破声，卡点精准!
除了官片之外，第一批体验玩家的视频也出炉了：有惊喜，也有翻车…
用户@TomLikesRobots生成的雨中人物视频。他发推表示，Pika生成的音效与视频非常匹配，增添了很多氛围感。
用户@RetropunkAI生成的“侠客兔”大片，生成的音效十分具有大片感。
用户@AiFreak_tool剪辑了一段拼接视频，展示了多种不同的音效。
当然，Sound Effects这个新功能，目前仍在测试阶段，因此生成的音效并不总是完美契合视频主题。
比如下面这个示例，对AI来说，画面内容可能比较难“理解”。
当然，更多晒出来的作品，都是可圈可点的。
虽然偶有翻车，更多人期待Pika可以尽快开放API以供创作。
那么，Pika的Sound Effects究竟是如何生成音效的呢?
英伟达科学家Jim Fan推测，AI系统学习基于视频内容创作音频映射，需要对潜在的空间中的一些「隐式」的物理对象进行识别与建模。
大概会以以下的流程完成音效生成：
目前Pika官方并没有公布AI音效的生成原理。
Sora诞生后，Pika Labs CEO郭文景在接受采访时回应称：
「我们觉得这是一个很振奋人心的消息，我们已经在筹备直接正面冲，将直接对标Sora的效果。」
作为创作者，我们希望视频内容拥有更多的自主权，在AI视频创作领域的可控性方面，Pika比OpenAI抢先了一步。
点击下方的工具卡片，官网可以免费体验Pika生成视频：
相关文章
近期文章
更多
Kardashian
