SDXL Turbo是基于SDXL 1.0开发而成,并且使用了一种全新的对抗扩散蒸馏技术(ADD),将图像所需的生成步骤从50减少至1—4步,并且丝毫不影响图像质量。
该技术可以在高质量图像下以1—4个步骤对大规模基础图像扩散模型进行采样。使用分数蒸馏来利用大规模现成的图像扩散模型作为指导。
并将其与对抗网络相结合,以确保即使在一个或两个采样步骤的低步骤状态下也能确保高图像保真度,同时避免了其他蒸馏方法中常见的失真或模糊问题。
SDXL Turbo实验数据
为了测试SDXL Turbo的性能,Stability.ai使用相同的文本提示,与StyleGAN-T++,OpenMUSE,IF-XL,SDXL和LCM-XL等不同版本的文生图模型进行了比较。
测试结果显示,SDXL Turbo只用一个生成步骤,就击败了LCM-XL的4步骤生成的图像,以及击败了SDXL通过50个步骤生成的图像。
用户可直接访问Stability AI的在线图像生成平台Clipdrop,使用SDXL Turbo的测试版本。作为一款开源的大模型,SDXL Turbo也提供模型权重和代码下载,以非商业研究许可证发布,允许个人和非商业免费使用。
此外,SDXL Turbo只能生成512x512固定像素的图片,对一些细节可能表现的不够好,例如,人的手指、面部表情等,无法完美的展现照片级真实感。
但SDXL Turbo对扩散模型的生成效率、质量实现了重大技术突破,可以帮助中小型企业以更低的成本来进行部署使用。