2023-09-06 09:20
Stable Diffusion的ControlNet模型测评丨究竟哪款模型出图快？
千呼万唤始出来!就在昨天，WebUI的ControlNet1.1.4版本终于更新，这次的更新支持了SDXL1.0的模型。我怀着兴奋的心情，打开了网站开始下载模型。这次总共出了四种控制类型，分别是Canny、Depth、Sketch和Openpose。
来到Hugging Face的网址：https://huggingface.co/lllyasviel/sd_control_collection/tree/main。可以看到这里有相当多的模型，当然，我们不需要全部都下载下来，因为它们之间有很多功能是重复的，是不同的作者做出来的。
但是呢，为了帮你们提前踩雷，我把他们全部都下载了，而且逐个做了测试，看到我这么辛苦的份上，你们一定会要给我一个“点赞”和“在看”的吧。
接下来，让我们来分类看一下吧。
#Canny硬边缘
首先是canny，它有几个不同的型号，体积越大，速度越慢。
我使用的是4080ti的笔记本进行的测试，12G显存。
模型sdxl base+refiner
提示词：masterpiece,best quality,1girl
采样方法：euler a
尺寸1024*1024
使用diffusers的2.5Gfull模型绘制的图片，一张图花了2分57秒，从这个效率上来看，这个大尺寸基本可以弃了。
使用diffusers的320Mb的small模型，用时34s，质量上差距不大，主要是时间优势很明显。
我们可以再看看其他作者的，这张是kohya的，用时33秒，更接近真实质感。
sai的canny分为128lora和256lora，分别用时39秒和1分08秒，这个模型比较偏绘画的感觉。
最后还有一个t2i的canny模型，用时34s，也是偏插画一点。
你们觉得哪个效果更好呢?时间上基本都在30秒以上，如果关掉refiner的话，能节省一半左右的时间，平均在17秒左右。
#Depth深度
接下来测试一些depth模型，图形尺寸664*1024.
使用diffusers的full模型，用时2分48秒，sdxl给我随机到了一个拼贴画的风格。
使用diffusers的small模型，用时23s。
使用kohya模型，用时42秒。这……好像和我的图片没什么关系。
使用sai模型，用时1分12秒，画质还可以，稍微有点慢。
使用sargezt模型，奇奇怪怪，没什么关系，用时1分52秒。
# Sketch草图
接下来测试一下sketch模型，画一只可爱的小猫，图形尺寸1024*624.
使用kohya模型，用时30秒，这是个啥???
使用sai模型，没找到小猫具体的位置，用时32秒，画质还可以。
使用t2i模型，用时28秒，唯一一个准的。
# Openpose骨架
最后测试一下openpose模型，图形尺寸1024*624.
使用kohya模型，画很好看，但姿势不对，用时40秒。
使用thibaud模型，动作有那么点意思了，但是时间太慢了，用时2分12秒。
# 总结
最后说下结论吧，没有权威性，全凭主观感受。
在canny模型中，我推荐使用“diffusers_xl_canny_small”，出图快，效果也还不错;depth模型中，我推荐使用“diffusers_xl_depth_small”，理由同上，其实“sai_xl_depth_128lora”效果也不错，但是渲染时间太长了，当然这个不是模型的问题，是我的问题，因为我买不起那么好的电脑;Sketch模型中，我推荐使用“t2i-adapter_xl_sketch”，这是腾讯家出品的，起码还挺还原的;openpose模型中，推荐“thibaud_xl_openpose_256lora”，虽然它画的不太准，但是它时间短啊，唉。。。
以上就是对sdxl的controlnet在webUI中表现的测评。虽然我的测评并没有很严谨(客观原因还是sdxl对机能的要求太高了)，但是总体的成功率感觉还是太低了。而且因为sdxl模型支持多种画风，所以在我的提示词中并没有给出具体要求的情况下，controlnet的结果是千变万化的。
扫一扫，关注作者公众号
stable diffusion、Blender等学习心得分享
相关文章
近期文章
更多
Kardashian
Altman
