2023-08-24 10:27
Stable Diffusion实战教学丨多角色Lora同时出现应该怎么办？
在Stable Diffusion中，想要实现画面出现多人物是不难的，你只需要在提示词中输入2girls，或者3boys等数量词,再加上一些各自的描述提示词就可以了。如果嫌刷图成功率不高，还可以配合openpose控制，做一个多人骨架，就可以生成一个多人物构图了。
但是呢，同一个模型出来的人物，脸部还是太雷同了，想要区分人物还得使用不同的Lora。
接下来，我使用的两个lora，分别来自最终幻想7中的人气角色——蒂法和爱丽丝。
我们输入一段提示词：(2girl:1.2),absurdres,8k uhd,1girl,cute,red shoes,taut shirt,black skirt,,1girl,cropped jacket,hair bow,bracelet,pink dress,,garden background,flowers,magnolias,apple tree,close up portrait。
分别描述这两个lora所对应的形象，但是结果却发现人物的特征全部混合在了一起，说明单纯靠提示词这样是行不通的。
这里我们需要用到一个分区控制的思路，我总共写过两篇可以用来分区绘图的文章，分别是Multidiffusion和Latent Couple：
【Stable Diffusion】 超大尺寸绘制、分区控制，详解Tiled Diffusion & VAE插件功能
【Stable Diffusion】手涂蒙版定位插件Latent Couple
#Multidiffusion
我们先来看看Multidiffusion的做法。
首先，启用Tiled Diifusion，打开分区提示词控制，创建一个文生图画布。
启用区域1.作为背景，填写关键词：花园背景，鲜花，木兰，苹果树
启用区域2.作为前景，填写关于蒂法的描述词和lora。
启用区域3.作为前景，填写关于爱丽丝的描述词和lora。
通过刷图，我发现这样几乎很难生成两个刚好在一起的人物。因为multidiffusion的分区原理是分图层绘画，然后通过边缘羽化将图层融合在一起，但是这样的操作会导致画面的连续性很低，两个人物变得毫无关联。
我们增加一个controlnet的openpose控制，来稳定住两个人物。
生成好了，我们来看一下。人物确实是分开了，但是lora的控制不是很强，特别是右边的爱丽丝看起来不太像。不如刚才没加controlnet之前爱丽丝的效果好，说明同时生成两个lora人物对于Multidiffusion来说还是有难度的。
#Latent Couple+Composable Lora
我们再来看看Latent Couple的做法。
在我之前讲解Latent Couple的文章中，我使用的是手绘蒙版的方式，进行的分区，这次，我来换一种更精确的方式。
使用矩形进行分区。
为了看懂这个分区原理呢，我们需要做一点数学理解。这三串数字，分别代表着全图、人物1和人物2.
1:1的含义就是将画面分割成一行一列，等于就是没有分割，所以背景就是一张完整的图。
后面两个人物的数值是1:2.即分为一行两列;如果想做三个人物，就可以分三份，即1:3.
分区位置，因为是从0开始计数，所以我们在理解的时候需要给对应的数字加上1.比如我们的第一个人物坐标为0:0.那么她所在的位置就是第一行第一列，也就是画面的左边。
第二个人物坐标为0:1.那么她所在的位置就是第一行第二列，也就是画面的右边。
理解了这个之后，我们就可以自由地控制画面中元素的位置了。比如说，你想把元素控制在图中阴影的这个位置，你的分区方式就是3:3.你的分区位置就是1:2.
如果想把元素控制在图中阴影范围的话呢，你的分区方式就是3:3.你的分区位置就是1:1-3.(使用“-”符号来进行范围控制)
我们可以用可视化预览来验证一下，算得对不对。
最后，还有一个权重控制，这个很好理解，根据你的需求进行调整就行了。注意背景权重不要太高，不然会影响你的主体人物。
当然，我们今天的这个案例不需要太复杂的参数设置，只要分成左右两等分就可以了。这个矩形分区的好处就是，无论你后面的画面尺寸怎么变，改成横的还是竖的，这个比例分区都不会变。
同样，我还是用openpose来控制一下人物的位置。(不要太指望AI的随机抽卡，想要合适的动作可能要抽很久……)
最后，我们设置一下提示词，使用AND语法引出两个lora。
点击生成，可以看到目前的lora还是一个混合的状态，我中有你，你中有我。
这个时候就需要祭出我们的最终武器——Composable Lora。
安装方式就是在扩展面板中搜索composable lora，可以直接安装。或者是将下载好的插件，放在这个路径文件夹下“……\sd-webui-aki-v4\extensions”。
重启就可以看到它，然后我们直接点击启用即可。
点击生成，lora就完美地分开了，再也没有互相污染的情况发生。
我们可以再使用一些不同的openpose来控制一下,看看其他的图片怎么样。
以上，就是精确控制画面分区使用不同lora角色的方法，你心里有哪些难以割舍的CP，试试将他们组一组吧，可以磕到天荒地老。
扫一扫，关注作者公众号
stable diffusion、Blender等学习心得分享
相关文章
近期文章
更多
Kardashian
Altman
