2024-10-05 13:54
我们用豆包视频大模型，生成了AI版的《红楼梦》MV
要论最近最火的AI视频生成模型，无疑就属字节豆包了。
也就是字节一口气亮出的PixelDance模型和Seaweed模型。
而且大家都说效果好，那这不就得亲自测试一波喽，而且是直接上难度的那种——
最近抖音里很多人都在模仿林黛玉哭泣，我们不妨用“全字节系的AI”来制作一支《红楼梦》的MV。
然后啊，效果简直就是一个大写的万万没想到！
话不多说，直接展示成果：
不论是生成的多人物、画面的质量，甚至是故事情节，豆包的视频可以说是相当有《红楼梦》那味儿了。
而也正如刚才提到的，打造这支MV背后的AI，统统都是字节系。
现在我们就来一一拆解细节步骤。
第一步，用豆包查询《红楼梦》中的经典片段原文，作为生成图片的Prompt。
例如王熙凤出场的名场面，豆包给出了这样的答案：
第二步，我们直接用《红楼梦》中的原文片段，“喂”给字节的即梦，让它先生成一幅画。
例如我们采用的Prompt是：
红楼梦，只见一群媳妇丫鬟围拥着一个人从后房门进来。这个人打扮与众姑娘不同，彩绣辉煌，恍若神妃仙子：头上戴着金丝八宝攒珠髻，绾着朝阳五凤挂珠钗；项上带着赤金盘螭璎珞圈;裙边系着豆绿宫绦，双衡比目玫瑰佩;身上穿着缕金百蝶穿花大红洋缎窄裉袄，外罩五彩刻丝石青银鼠褂；下着翡翠撒花洋绉裙。一双丹凤三角眼，两弯柳叶吊梢眉，身量苗条，体格风骚，粉面含春威不露，丹唇未启笑先闻。
所有生成的图片如下所示：
第三步，将生成的图片丢给豆包PixelDance模型，再附上一句Prompt，让它生成视频片段：
中间的女子开怀大笑，性情豪爽地往前走，旁边众人微笑慢慢低头并为这个女子让路。
(当然，也可以继续用《红楼梦》的原文作为Prompt)
采用相同的方法，逐个生成其它视频的片段。
再例如下面这个片段，Prompt是这样的：
右边女生默默哭泣，抬手捂住嘴。镜头切换，特写女生的脸，眼睛里留下眼泪。镜头切换，近景，左边人物痴痴看向女生，眼神中满是怜爱。
第四步，用基于豆包音乐模型的海绵音乐，生成1分钟的视频BGM，而且Prompt极其简单：
红楼梦，悲伤，大气。
一曲《梦断红楼殇》就诞生了：
第五步，将最终的6个视频和BGM统统导入字节的剪映，对视频做一个剪辑，就大功告成了!
不难看出，现在已经是人人都可以打造MV了，并且步骤和方法也相当简单，只需联动一下字节系的AI们：
豆包(豆包语言模型)、即梦(豆包文生图模型)、豆包视频生成模型PixelDance、海绵音乐(豆包音乐模型)、剪映。
而在整个过程中，视频生成，无疑是最为关键的步骤。
但有一说一，AI版《红楼梦》中的视频片段，还并没有完全展现豆包PixelDance模型的全部真实实力。
相关文章
Altman
