阿里云推出首个视频生成AI大模型:两分钟生成720P高质量高清影片,可用于电影场景制作
AI奇点网9月7日报道丨小编从阿里旗下的摩搭社区了解到,阿里巴巴达摩院新晋上线推出了一款全新视频生成大模型I2VGen-XL,并在魔搭社区开放体验。用户上传一张图片后2分钟左右即可生成一段1280x720的高分辨率视频,该模型研发负责人表示,未来将进一步实现2K超清效果,可应用于短视频内容生产、电影制作等场景。
和当前比较火爆的AI绘画创作大模型不同,视频生成大模型的技术门槛更高,其需要克服文本和视频内容匹配度、视频画面质量、画面连续性等诸多技术挑战。
针对该问题,阿里云进一步提出创新思路,I2VGen-XL模型设计了两个阶段,首先在低分辨率条件下保证生成结果和给定图像语义的匹配度,随后通过视频扩散模型(VLDM)来提高视频分辨率,并同时提升时间和空间上的一致性,保证最终视频内容的清晰度和连贯性,最终实现1280x720高分辨率的突破,并且在画面细节的展现上大幅领先现有模型。
据介绍,该模型的训练还使用了多种不同风格的视频类型数据,因此可生成科技感、电影色、卡通风格和素描等不同风格的丰富视频。
目前,I2VGen-XL的模型和代码均已开源,国内外社交媒体显示,该模型已吸引国内外用户和开发者的广泛体验和二次开发,涌现了大量创意AI视频生成内容,例如在城堡上展翅的恐龙、宇航员在飞船中行走的科幻电影画面等等。
感兴趣的朋友,不妨到阿里摩搭社区体验一番。模型体验地址链接直达:https://modelscope.cn/models/damo/Image-to-Video/summary