图像处理 图像生成 语音转文字

Music To Image音乐生成图像

「音生图」应用,只要上传一段音乐,它就能根据音乐旋律和歌词,生成一张对应意境的图片。

时间: 2024-03-08

标签:

一个名叫「Music To Image」应用程序在Hugging Face社区横空出世后,直接热度飙升,冲上了本周热搜榜,让人们看到了「音生图」的潜在可能性。

简而言之,只要上传一段音乐,它就能根据音乐旋律和歌词,生成一张对应意境的图片。

玩法也十分简单,只需在页面上拖拽或者上传一段音频文件,支持MP3/WAV等常见音频格式,AI会直接调用AI绘画工具Stable Diffusion的API接口,进行下一步的「文生图」动作。

将音频发送到LP-Music-Caps以生成音频字幕,然后使用Llama2大模型将其转换为说明性图像描述,最后运行Stable Diffusion XL以从音频生成图像!

注意:音频仅能推理前30秒。

相关工具推荐