首页  >  教程  >  文章
2023-09-03 15:14

Stable Diffusion基础应用丨ControlNet怎么进行画风融合

图片

大家好,我是每天分享AI应用的萤火君!

今天继续给大家分享 Stable Diffusiion 的基础能力:ControlNet 之画风融合。

基本介绍

首先我们来明确一个概念:什么是画风?

我通过AI大模型获取了一个答案,自认为还比较容易理解:画风是指绘画的风格,包括作者对人物、布景等的绘画手法,线条处理,色彩、色调等其他方面的处理手法,以及动画创作者的作画风格等。

本文用到的 ControlNet 类型是Shuffle,它的本意是洗牌、打散。Shuffle的预处理器会把图片中的元素扭曲组合,然后Shuffle模型会使用这些信息,结合其它SD控制参数一起生成图片。

为了更直观的感受这个处理方法,我这里用Anything模型参考“蒙娜丽莎”生成了一张图片:

图片

从上面这个例子,我们可以看到:生成图片参考了原图的色彩、色调和一些光影效果,以及部分元素(背景中高低起伏的地面),甚至人物的发型、姿势等特征,同时图片也受到大模型的很多约束,线条的处理,人物的面部、头发、服饰等都是Anything的二次元风格。

绘制的图片既有参考图的部分风格,又有大模型的部分风格,两种风格出现在同一张图中,融合到了一起,所以我这里称之为画风融合。

如果你感觉这个说法还是有点单薄,下面会有更多的示例。不过在此之前,我想先演示下 Shuffle 的用法,以便让大家能够更快地开始自己的创作。

使用方法

对 ControlNet 缺乏概念的同学,还是要先去了解一些基础知识,参考这篇文章:Stable Diffusion基础:精准控制之ControlNet。

选择一个你喜欢的大模型,通过提示词描述你想要的画面,通过反向提示词做一些画面约束。

图片

随便选择一个采样器,这里选择一个比较新的 DPM++ 2M SDE Karras,速度和效果都比较好,采样步数在20-40.

设置你想要生成图片的尺寸,数值越大生成越慢,一般不要超过1024;宽高比常见的有1:1、2:3、3:4、9:16等,宽高比过于悬殊,画面结构可能会崩坏,这里宽高采用了2:3的比例。

图片

在ControlNet区域:

选择一个Unit,一般就是第一个;

上传一张参考图片;

勾选“启用”;勾选“完美匹配像素”,让预处理器自动识别参考图的分辨率;勾选“允许预览”,方便查看 Shuffle 预处理的结果。

图片

Control Type 这里勾选“Shuffle”;

Shuffle的预处理器和模型都只有一种,勾选“Shuffle”后会自动加载;

其它参数先使用默认值就可以。

图片

然后就可以去生成图片了。

图片

绘图示例

下面是使用 Shuffle 绘制图片的一些示例。为了更全面地感受 Shuffle 的效果,我选择了多种风格的参考图,大模型使用了 AnythingV5 和 realisticVisionV51.它们分别是二次元模型和真实模型。

下面3张图的顺序都是:参考图、AnythingV5、realisticVisionV51.

如果你有兴趣,可以下载这些图片,然后在 Stable Diffusion WebUI 中查看图片生成参数,下载方法请查看文章最后部分。

赛博朋克

文生图,赛博朋克风格,Shuffle ControlNet。参考图中的光影效果深刻影响了生成的图片。

图片

古风仕女

文生图,女子,Shuffle ControlNet。除了色彩很像,看这两个小眼神,好像也受到了参考图的很大影响。在真实模型生成的图片中还出现了参考图中的一些花花草草。

图片

文生图,男子,Shuffle ControlNet。参考图是女子,也不影响生成男人。

图片

水墨画

文生图,女孩,Shuffle ControlNet。

图片

文生图,山水画,Shuffle ControlNet。

图片

小说推文插画

文生图,女孩,Shuffle ControlNet。生成图片融合了一种很干净利索的感觉。

图片

工笔画风

文生图,女孩,Shuffle ControlNet。这个五颜六色的组合还挺搭的,没有庸俗感。

 

蒙娜丽莎(图生图约束)

图生图,蒙娜丽莎,Shuffle ControlNet。

使用图生图,较小的重绘幅度,约束画面的结构,但是色彩、色调都会使用参考图的。

图片

二次元(线稿约束)

文生图,女孩,Shuffle ControlNet + Lineart ControlNet。

这里使用了 Lineart ControlNet 来约束画面,使得整体画面结构不变,只改变色彩和细节。

Lineart的参考图片是下面这张:

图片

下面这几张是添加 Shuffle 生成的图片:

图片

图片

图片

总结

从出图示例我们可以看到,Shuffle 提供的画风融合能力主要在色彩、色调,以及参考图中部分元素和效果;生成图片的线条处理、人物的绘画手法还是主要由大模型来控制的。

资源下载

本文使用的模型、插件,生成的图片,都已经上传到了我整理的SD绘画资源中,后续也会持续更新,如有需要,请关/注/公/众/号:萤火遛AI(yinghuo6ai),发消息:SD,即可获取下载地址。

如果你还没有使用过Stable Diffusion WebUI,可以先看这几篇文章,了解下如何使用:

手把手教你在本机安装Stable Diffusion秋叶整合包

手把手教你在云环境炼丹(部署Stable Diffusion WebUI)

SDXL 1.0出图效果直逼Midjourney!手把手教你快速体验!

以上就是本文的主要内容了,如有问题,欢迎给我留言沟通交流。


扫一扫,关注作者公众号

AI探索者,分享AI前沿知识跟实用技巧

4

相关文章