2023-07-03 17:38
Stable Diffusion 使用教程 — 低 VRAM 生图 Tiled Diffusion
AI奇点网工具使用教程丨Stable Diffusion 使用教程系列
低 VRAM 生图 Tiled Diffusion
SD是一款很强大的AI绘画软件，使用GPU进行大量运算后生成图片。但是这个算法非常吃显存， 我认为最好的显存是12G，且相对小的显存依旧有很大的使用困难，容易爆显存数据溢出绘画失败。
大佬 pkuliyi2015 开发了 MultiDiffusion with Tiled VAE这个项目，该插件可以大幅减少 SD 运算的时候所需显存，相当于是连续画多张图，再合并起来。这种拆分任务的方式让显存较小的硬件也能够低成本地画出更大的图。
同时，由于这个特性，让 MultiDiffusion with Tiled VAE 甚至能够在参数不变的情况下将原图从1024 * 800 放大到 4096 * 3200。（简单说该插件降低设备要求同时还能提高画面分辨率，神器）
下面我们来看一下这个是怎么安装使用的
1.打开网址：https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111
1: 官方下载
打开Automatic1111 WebUI -> 点击“扩展”选项卡 -> 点击“可用”选项卡 -> 找到“[MultiDiffusion 放大器(TiledDiffusion with Tiled VAE)]” -> 点击“安装”
2: URL 安装
打开Automatic1111 WebUI -> 点击“扩展”选项卡 -> 点击“从网址安装”选项卡 -> 输入 https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.git -> 点击“安装”
如何使用Tiled Diffusion
1.打开 tiled diffusion 根据图片框选操作
勾选enable tiled diffusion，旁边overwrite 为调整画面大小，勾选了sd自带的调整大小不会起作用
2.选择混合的模式（底下数值一般保持默认，或者自己尝试新的玩法）
3.选择 region prompt control 勾选 enable control 上传任意一张图片
这里上传的图片只作为画布大小的提供参考，并无其他用途。
4.分区域绘画
5.生成图片，等待出图
【注意事项】
从图中可以看到如何将图像分割成块。
在每个步骤中，潜在空间中的每个小块都将被发送到 Stable Diffusion UNet。
小块一遍遍地分割和融合，直到完成所有步骤。
块要多大才合适？
较大的块大小将提升处理速度，因为小块数量会较少。
然而，最佳大小取决于您的模型。
SD1.4仅适用于绘制512 * 512图像（SD2.1是768 * 768）。由于大多数模型无法生成大于1280 * 1280的好图片。
因此，在潜在空间中将其除以8后，你将得到64-160。
因此，您应该选择64-160之间的值。
个人建议选择96或128以获得更快的速度。
重叠要多大才合适？
重叠减少了融合中的接缝。显然，较大的重叠值意味着更少接缝，但会显著降低速度，因为需要重新绘制更多的小块。
与 MultiDiffusion 相比，Mixture of Diffusers 需要较少的重叠，因为它使用高斯平滑（因此可以更快）。
个人建议使用 MultiDiffusion 时选择32或48，使用 Mixture of Diffusers 选择16或32
放大算法(Upscaler) 选项将在图生图(img2img)模式中可用，你可选用一个合适的前置放大器。
相关文章
雷小军
