2023-09-03 15:14
Stable Diffusion基础应用丨ControlNet怎么进行画风融合
大家好，我是每天分享AI应用的萤火君!
今天继续给大家分享 Stable Diffusiion 的基础能力：ControlNet 之画风融合。
基本介绍
首先我们来明确一个概念：什么是画风?
我通过AI大模型获取了一个答案，自认为还比较容易理解：画风是指绘画的风格，包括作者对人物、布景等的绘画手法，线条处理，色彩、色调等其他方面的处理手法，以及动画创作者的作画风格等。
本文用到的 ControlNet 类型是Shuffle，它的本意是洗牌、打散。Shuffle的预处理器会把图片中的元素扭曲组合，然后Shuffle模型会使用这些信息，结合其它SD控制参数一起生成图片。
为了更直观的感受这个处理方法，我这里用Anything模型参考“蒙娜丽莎”生成了一张图片：
从上面这个例子，我们可以看到：生成图片参考了原图的色彩、色调和一些光影效果，以及部分元素(背景中高低起伏的地面)，甚至人物的发型、姿势等特征，同时图片也受到大模型的很多约束，线条的处理，人物的面部、头发、服饰等都是Anything的二次元风格。
绘制的图片既有参考图的部分风格，又有大模型的部分风格，两种风格出现在同一张图中，融合到了一起，所以我这里称之为画风融合。
如果你感觉这个说法还是有点单薄，下面会有更多的示例。不过在此之前，我想先演示下 Shuffle 的用法，以便让大家能够更快地开始自己的创作。
使用方法
对 ControlNet 缺乏概念的同学，还是要先去了解一些基础知识，参考这篇文章：Stable Diffusion基础：精准控制之ControlNet。
选择一个你喜欢的大模型，通过提示词描述你想要的画面，通过反向提示词做一些画面约束。
随便选择一个采样器，这里选择一个比较新的 DPM++ 2M SDE Karras，速度和效果都比较好，采样步数在20-40.
设置你想要生成图片的尺寸，数值越大生成越慢，一般不要超过1024;宽高比常见的有1:1、2:3、3:4、9:16等，宽高比过于悬殊，画面结构可能会崩坏，这里宽高采用了2:3的比例。
在ControlNet区域：
选择一个Unit，一般就是第一个;
上传一张参考图片;
勾选“启用”;勾选“完美匹配像素”，让预处理器自动识别参考图的分辨率;勾选“允许预览”，方便查看 Shuffle 预处理的结果。
Control Type 这里勾选“Shuffle”;
Shuffle的预处理器和模型都只有一种，勾选“Shuffle”后会自动加载;
其它参数先使用默认值就可以。
然后就可以去生成图片了。
绘图示例
下面是使用 Shuffle 绘制图片的一些示例。为了更全面地感受 Shuffle 的效果，我选择了多种风格的参考图，大模型使用了 AnythingV5 和 realisticVisionV51.它们分别是二次元模型和真实模型。
下面3张图的顺序都是：参考图、AnythingV5、realisticVisionV51.
如果你有兴趣，可以下载这些图片，然后在 Stable Diffusion WebUI 中查看图片生成参数，下载方法请查看文章最后部分。
赛博朋克
文生图，赛博朋克风格，Shuffle ControlNet。参考图中的光影效果深刻影响了生成的图片。
古风仕女
文生图，女子，Shuffle ControlNet。除了色彩很像，看这两个小眼神，好像也受到了参考图的很大影响。在真实模型生成的图片中还出现了参考图中的一些花花草草。
文生图，男子，Shuffle ControlNet。参考图是女子，也不影响生成男人。
水墨画
文生图，女孩，Shuffle ControlNet。
文生图，山水画，Shuffle ControlNet。
小说推文插画
文生图，女孩，Shuffle ControlNet。生成图片融合了一种很干净利索的感觉。
工笔画风
文生图，女孩，Shuffle ControlNet。这个五颜六色的组合还挺搭的，没有庸俗感。
蒙娜丽莎（图生图约束）
图生图，蒙娜丽莎，Shuffle ControlNet。
使用图生图，较小的重绘幅度，约束画面的结构，但是色彩、色调都会使用参考图的。
二次元（线稿约束）
文生图，女孩，Shuffle ControlNet + Lineart ControlNet。
这里使用了 Lineart ControlNet 来约束画面，使得整体画面结构不变，只改变色彩和细节。
Lineart的参考图片是下面这张：
下面这几张是添加 Shuffle 生成的图片：
总结
从出图示例我们可以看到，Shuffle 提供的画风融合能力主要在色彩、色调，以及参考图中部分元素和效果;生成图片的线条处理、人物的绘画手法还是主要由大模型来控制的。
资源下载
本文使用的模型、插件，生成的图片，都已经上传到了我整理的SD绘画资源中，后续也会持续更新，如有需要，请关/注/公/众/号：萤火遛AI(yinghuo6ai)，发消息：SD，即可获取下载地址。
如果你还没有使用过Stable Diffusion WebUI，可以先看这几篇文章，了解下如何使用：
手把手教你在本机安装Stable Diffusion秋叶整合包
手把手教你在云环境炼丹（部署Stable Diffusion WebUI）
SDXL 1.0出图效果直逼Midjourney！手把手教你快速体验！
以上就是本文的主要内容了，如有问题，欢迎给我留言沟通交流。
扫一扫，关注作者公众号
AI探索者，分享AI前沿知识跟实用技巧
相关文章
近期文章
更多
Kardashian
Altman
