2023-09-28 09:18
Stable diffusion Lora炼丹术丨喂饭级人像Lora炼制教程
相信很多人在刚开始接触sd的时候都有过这样的想法，给自己的家人、男女朋友、或者是某个喜欢的明星炼上一丹，然后就可以给他们换上各样的服装、各样的背景、甚至带他们环游世界。马上就是国庆长假了，不想出门的朋友看好了，漂亮的旅游照就是动动鼠标的事。
昨天，我在家给小朋友整理照片的时候，心血来潮就顺手给他炼了一丹。
1，准备训练集
给人物炼lora首先就是训练集的准备，越清晰质量越高的就越好，特别是脸部。比如我的手机在拍室内的全身人物的时候，由于光线不足，脸部放大一点就会很模糊。所以有条件的朋友可以准备一台尼康，先好好的先为你的对象拍上一组写真，因为训练集的好坏直接决定了最后AI的出图效果。
我挑选了20张照片，都是一些平时用手机拍摄的生活照，但是小朋友长得太快了，最近几个月的还能一起用，再久远一些的感觉差距都挺大的了，个头脸型都变了。
挑选的照片尽量不要有物体遮挡脸部;尽量不要有太大的透视，以免影响AI对人物身体比例的判断;尽量包含面部特写、半身照、全身照、正面、侧面、背面等不同的视角，这样可以让lora比较立体，不然只会画一个角度也挺尴尬的。
比如下面这几张，照片中有面部遮挡，有透视关系，就最好不要选入到训练集中。
然后就是图片的裁剪，有一些画面内容太杂乱的，可以把多余的部分去掉，让人物出现在画面主体位置，以免影响AI识别。
这里给大家推荐一个可以批量裁图的网站https://www.birme.net/?target_height=768.我们设定好一个尺寸，然后调整画面位置，直接导出就好了。
2，打标
选一个基础大模型，我使用的是“麦橘写实”，然后填一个lora的名字。
准备好之后，将照片导入到丹炉，选择适合的分辨率，可以勾选“脸部加强训练”，然后点击“预处理”。其实这里有一个自动的裁剪模式，但是我试过觉得自动的不太靠谱，所以还是手动裁吧。
预处理之后，就会出现一个脸部的文件夹，和一个整体的文件夹，并且每一张照片都已经自动打好了tag标签。
我们可以给整体添加统一的标签，也可以单独给每一张修改标签。这个标签的作用主要是帮助AI去理解我们的图片，告诉它画面里面有什么。
这里要注意的是，如果你想让这个特征成为人物的固定的效果，你就不要填写这个关键词。比如我不描写他的发型，只描写他的头发颜色，那么后期出图的时候，他的发型就不能被改变，但是头发颜色却可以被改变。
这个过程挺漫长的，每一张图片都要仔细检查，打标的好坏会影响到后面人物lora是否有比较好的泛化性。所以如果你想让你的人物能多一些变化，就尽量描述的详细一些吧。
3，参数调整
前面两个环节比较重要，这个参数调节其实就可以佛系一点了。大部分参数是固定的，主要的几个按照我之前讲解过的人物参数配置一遍就可以了，后期再根据生成的结果来调整。
设置好之后就可以开始训练了。
4，炼丹
18张脸部图片，20张整体图片，各训练50步，循环训练10次，并行步数为1.所以训练总步数为19000.训练时长为45分钟，loss值为0.0769.
从数值上来看是个不错的丹，但具体好坏还是要我们自己通过测试来判断，毕竟像不像只有我们自己知道。
5，测试
我们首先利用xyz脚本对生成的一共10个丹进行权重测试，逐步来缩小范围。不过实际上也不需要全部进行测试，因为一般情况下，前三个丹都是不太像的，也就是不拟合;权重0.1—0.4也不会太像，0.6以后会好一点，所以如果想要节省时间，我们可以少测试一些。
变换不同的提示词将范围逐渐缩小，从近景上来看，6789号丹在0.8和0.9权重下的表现还不错。
最终，目标锁定在了6号和9号两枚丹上，不过最后的呈现效果受参数影响也很大。
我又测试了一下不同的采样方法，对比下来6号丹在DPM++2M Karras上的表现最佳，接下来就可以开始正式的提示词出图了。
6，出图
以前打比赛的时候，赛事方摄影师说“你儿子这头发挺潦草的”。看看这炼丹的成果，发型是真够还原的，主打一只潦草小狗。
你们能看出来这些图哪些是真人，哪些是AI吗?
分享到这里告一段落，对丹炉感兴趣的朋友，可以添加我的公众号【白马与少年】，回复【炼丹】即可。
-END-
扫一扫，关注作者公众号
stable diffusion、Blender等学习心得分
相关文章
近期文章
更多
Altman
雷小军
