每天一个AI姬,以飨关注者
近日,Stable Diffusion 最重要的组件 ControlNet 迎来了自己的新版本(1.1)。
为稳妥起见,WebUI 用户最好先删除之前安装的 ControlNet,然后再全新安装1.1。否则,可能会有安装不上,或缺少文件的问题。
ControlNet 1.1 的详尽介绍,可访问以下地址:
https://github.com/lllyasviel/ControlNet
WebUI ControlNet 1.1 新版组件的后台安装地址如下:
https://github.com/Mikubill/sd-webui-controlnet.git
下面让我们来体验一下新版本中的各项功能吧:
本次测试原图
本次测试的原图在旧版 ControlNet 上并不能很好的被AI准确定义,经常会出现人物身体扭转的误判。所以这次特意选它用来测试 ControlNet 新版本的能力。
ControlNet 1.1 界面
ControlNet 1.1 的操作界面和旧版本几乎一样,还贴心地取消了图片高度调节,并改为根据图片宽度自适应。对于很多用户来说,操作界面的优化,可以减少很多不必要的误操作。
1、invert (from white bg & black line)
invert (from white bg & black line)
invert,反转图,生成的是类似底片的反转效果,出图效果良好。
2、canny
canny,边缘检测图,大家已经很熟悉了,出图质量一般,但比旧版本要好一些,其主要原因是对原图的色度判断不准确,所以右手的轮廓整个都没了。
3、depth_leres
depth_leres
depth_leres,深度图的信息估算图,人体及画面细节的前后位置都给的很准确,比较适合用来重绘脸部。
4、depth_midas
depth_midas
depth_midas,另一种深度图,细节没那么完整,与背景分离的更清楚,可能比较适合更自由的绘图需求。
5、depth_zoe
depth_zoe
depth_zoe,带有人脸五官信息的深度图,比较适合还原人物,更换图片背景会比较方便。
6、inpaint_global_harmonious,无法生成预览图,应该是还在测试中的功能。
7、lineart_anime
lineart_anime
lineart_anime,动漫线稿图,顾名思义比较适合动漫风,只保留了关键的线条。
8、lineart_coarse
lineart_coarse
lineart_coarse,粗线条的线稿图,可能比较适合用来上色。
9、lineart_realistic
lineart_realistic
lineart_realistic,真实化的线稿图,各个细节都比较完整了,适用于拟真AI绘画。
10、lineart_standard (from white bg & black line)
lineart_standard (from white bg & black line)
lineart_standard (from white bg & black line),标准线稿图,还带一些明暗深度,可能适用于2.5D的动漫绘制。
11、mediapipe_face
mediapipe_face
mediapipe_face,脸部表情图,终于可以适配 WebUI 1.5 的模型了!之前的版本对显存要求很高,出不了太大的图,这次优化之后,终于可以适配低显存用户了。
12、M-LSD
M-LSD
M-LSD,最大似然序列检测图,一般适用于建筑或室内的大线条结构。
13、normal_bae
normal_bae
normal_bae,bae法线图,据官方说,是比 normal_midas 要更合理的一种法线图。
14、normal_midas
normal_midas
normal_midas,法线图,和上个版本一样,出图效果比较差,即将被取代。
15、openpose
openpose
openpose,姿态检测图,改善了之前版本AI绘画有时会分不清人物左右结构的问题。
16、openpose_face
openpose_face
openpose_face,姿态+脸型检测图,这是 ControlNet 1.1 新版本最重要的一个新功能,虽然在脸部表情的复刻上还比不上 mediapipe_face 的效果,但能和人体姿势组合使用,也已经是一个不小的进步了。实测画幅大小为 512*768 像素,人物脸部不会崩。这在以前的版本上几乎是不可想象的。下面是实测出图。
openpose_face 出图实测
17、openpose_faceonly,这个没什么好说的,就是去掉人体结构的脸型图。
18、openpose_full
openpose_full
openpose_full,姿势+脸型+手型的完整检测图,效果尚可,但AI绘图时,左手仍然会出错。可能比较适合近景图,或手型比较清晰的图,靠AI自行判断,目前还不行。
19、openpose_hand,这个也没什么好说的,就是不带脸型识别的手型+姿势检测图。
20、scribble_hed
scribble_hed
scribble_hed,粗线合成涂鸦图,用来生成随机性较强的图。
21、scribble_pidinet
scribble_pidinet,粗简合成涂鸦图,用来生成更自由的随机图。
22、scribble_xdog
scribble_xdog
scribble_xdog,手绘涂鸦图,带有更多面部的细节。
23、seg_ofade20k,无法生成预览图,应该是还在测试中的功能。
24、seg_ofcoco,无法生成预览图,应该也是还在测试中的功能。
25、seg_ufade20k
seg_ufade20k
seg_ufade20k,彩色剪影图,效果不明显,应该是属于要被弃用的一项功能。
26、shuffle
shuffle
shuffle,洗牌图,官方说明是可以用于生成与原图风格接近的效果图,不仅适用于景物,也适用于人物,实测效果居然还不错。
shuffle 洗牌效果图
27、softedge_hed
softedge_hed
softedge_hed,合成柔边图,这是 ControlNet 1.1 新版本的新增功能,也是官方推荐的主要功能,比线稿图和涂鸦图都要强大,出图效果更佳。
28、softedge_hedsafe
softedge_hedsafe
softedge_hedsafe,安全合成柔边图,稳定性更高,出图品质略逊于 softedge_hed。
29、softedge_pidinet
softedge_pidinet
softedge_pidinet,简笔柔线图,造型更坚固,细节更自由。
30、softedge_pidisafe
softedge_pidisafe
softedge_pidisafe,安全简笔柔线图,造型固化,细节随机。
31、t2ia_color_grid
t2ia_color_grid
t2ia_color_grid,颜色网格检测图,这是用来生成与原图色谱一致,布局相近的图像的,主要用来生成风景画或抽象画。
32、t2ia_sketch_pidi
t2ia_sketch_pidi
t2ia_sketch_pidi,简笔素描图,这个没什么好说的。可能即将要被softedge_hed 合成柔线图所取代。
33、t2ia_style_clipvision,这个没什么可说的,生成不了预览图,也没有相关模型文件。
34、阈值
阈值
阈值,黑白剪影图,用来生成海报还不错。
35、tile_gaussian
tile_gaussian
tile_gaussian,高斯磁贴检测图,可生成效果良好的动漫图像。
tile_gaussian 测试效果图
End
终于全部写完了。
最后,还想说一点的是,无论是已经更新了 ControlNet 1.1 新版本的人,还是暂时更新不了的人,其实都不必对这些新功能抱有太多奢望;而且,据说更新的 ControlNet 2.1 版也已经在开发的路上了,主要针对的是视频功能。
就目前的 ControlNet 而言,新版本了解一下足矣,还远没有到革新的时刻。
暂无评论内容