每天一个AI姬,AI绘画好帮手 ControlNet 1.1 新版本35项功能全解

每天一个AI姬,以飨关注者

近日,Stable Diffusion 最重要的组件 ControlNet 迎来了自己的新版本(1.1)。

为稳妥起见,WebUI 用户最好先删除之前安装的 ControlNet,然后再全新安装1.1。否则,可能会有安装不上,或缺少文件的问题。

ControlNet 1.1 的详尽介绍,可访问以下地址:

https://github.com/lllyasviel/ControlNet

WebUI ControlNet 1.1 新版组件的后台安装地址如下:

https://github.com/Mikubill/sd-webui-controlnet.git

下面让我们来体验一下新版本中的各项功能吧:

本次测试原图

本次测试的原图在旧版 ControlNet 上并不能很好的被AI准确定义,经常会出现人物身体扭转的误判。所以这次特意选它用来测试 ControlNet 新版本的能力。

ControlNet 1.1 界面

ControlNet 1.1 的操作界面和旧版本几乎一样,还贴心地取消了图片高度调节,并改为根据图片宽度自适应。对于很多用户来说,操作界面的优化,可以减少很多不必要的误操作。

1、invert (from white bg & black line)

invert (from white bg & black line)

invert,反转图,生成的是类似底片的反转效果,出图效果良好。

2、canny

canny,边缘检测图,大家已经很熟悉了,出图质量一般,但比旧版本要好一些,其主要原因是对原图的色度判断不准确,所以右手的轮廓整个都没了。

3、depth_leres

depth_leres

depth_leres,深度图的信息估算图,人体及画面细节的前后位置都给的很准确,比较适合用来重绘脸部。

4、depth_midas

depth_midas

depth_midas,另一种深度图,细节没那么完整,与背景分离的更清楚,可能比较适合更自由的绘图需求。

5、depth_zoe

depth_zoe

depth_zoe,带有人脸五官信息的深度图,比较适合还原人物,更换图片背景会比较方便。

6、inpaint_global_harmonious,无法生成预览图,应该是还在测试中的功能。

7、lineart_anime

lineart_anime

lineart_anime,动漫线稿图,顾名思义比较适合动漫风,只保留了关键的线条。

8、lineart_coarse

lineart_coarse

lineart_coarse,粗线条的线稿图,可能比较适合用来上色。

9、lineart_realistic

lineart_realistic

lineart_realistic,真实化的线稿图,各个细节都比较完整了,适用于拟真AI绘画。

10、lineart_standard (from white bg & black line)

lineart_standard (from white bg & black line)

lineart_standard (from white bg & black line),标准线稿图,还带一些明暗深度,可能适用于2.5D的动漫绘制。

11、mediapipe_face

mediapipe_face

mediapipe_face,脸部表情图,终于可以适配 WebUI 1.5 的模型了!之前的版本对显存要求很高,出不了太大的图,这次优化之后,终于可以适配低显存用户了。

12、M-LSD

M-LSD

M-LSD,最大似然序列检测图,一般适用于建筑或室内的大线条结构。

13、normal_bae

normal_bae

normal_bae,bae法线图,据官方说,是比 normal_midas 要更合理的一种法线图。

14、normal_midas

normal_midas

normal_midas,法线图,和上个版本一样,出图效果比较差,即将被取代。

15、openpose

openpose

openpose,姿态检测图,改善了之前版本AI绘画有时会分不清人物左右结构的问题。

16、openpose_face

openpose_face

openpose_face,姿态+脸型检测图,这是 ControlNet 1.1 新版本最重要的一个新功能,虽然在脸部表情的复刻上还比不上 mediapipe_face 的效果,但能和人体姿势组合使用,也已经是一个不小的进步了。实测画幅大小为 512*768 像素,人物脸部不会崩。这在以前的版本上几乎是不可想象的。下面是实测出图。

openpose_face 出图实测

17、openpose_faceonly,这个没什么好说的,就是去掉人体结构的脸型图。

18、openpose_full

openpose_full

openpose_full,姿势+脸型+手型的完整检测图,效果尚可,但AI绘图时,左手仍然会出错。可能比较适合近景图,或手型比较清晰的图,靠AI自行判断,目前还不行。

19、openpose_hand,这个也没什么好说的,就是不带脸型识别的手型+姿势检测图。

20、scribble_hed

scribble_hed

scribble_hed,粗线合成涂鸦图,用来生成随机性较强的图。

21、scribble_pidinet

scribble_pidinet,粗简合成涂鸦图,用来生成更自由的随机图。

22、scribble_xdog

scribble_xdog

scribble_xdog,手绘涂鸦图,带有更多面部的细节。

23、seg_ofade20k,无法生成预览图,应该是还在测试中的功能。

24、seg_ofcoco,无法生成预览图,应该也是还在测试中的功能。

25、seg_ufade20k

seg_ufade20k

seg_ufade20k,彩色剪影图,效果不明显,应该是属于要被弃用的一项功能。

26、shuffle

shuffle

shuffle,洗牌图,官方说明是可以用于生成与原图风格接近的效果图,不仅适用于景物,也适用于人物,实测效果居然还不错。

shuffle 洗牌效果图

27、softedge_hed

softedge_hed

softedge_hed,合成柔边图,这是 ControlNet 1.1 新版本的新增功能,也是官方推荐的主要功能,比线稿图和涂鸦图都要强大,出图效果更佳。

28、softedge_hedsafe

softedge_hedsafe

softedge_hedsafe,安全合成柔边图,稳定性更高,出图品质略逊于 softedge_hed。

29、softedge_pidinet

softedge_pidinet

softedge_pidinet,简笔柔线图,造型更坚固,细节更自由。

30、softedge_pidisafe

softedge_pidisafe

softedge_pidisafe,安全简笔柔线图,造型固化,细节随机。

31、t2ia_color_grid

t2ia_color_grid

t2ia_color_grid,颜色网格检测图,这是用来生成与原图色谱一致,布局相近的图像的,主要用来生成风景画或抽象画。

32、t2ia_sketch_pidi

t2ia_sketch_pidi

t2ia_sketch_pidi,简笔素描图,这个没什么好说的。可能即将要被softedge_hed 合成柔线图所取代。

33、t2ia_style_clipvision,这个没什么可说的,生成不了预览图,也没有相关模型文件。

34、阈值

阈值

阈值,黑白剪影图,用来生成海报还不错。

35、tile_gaussian

tile_gaussian

tile_gaussian,高斯磁贴检测图,可生成效果良好的动漫图像。

tile_gaussian 测试效果图

End

终于全部写完了。

最后,还想说一点的是,无论是已经更新了 ControlNet 1.1 新版本的人,还是暂时更新不了的人,其实都不必对这些新功能抱有太多奢望;而且,据说更新的 ControlNet 2.1 版也已经在开发的路上了,主要针对的是视频功能。

就目前的 ControlNet 而言,新版本了解一下足矣,还远没有到革新的时刻。

    THE END
    喜欢就支持一下吧
    点赞5 分享
    评论 抢沙发
    头像
    欢迎您留下宝贵的见解!
    提交
    头像

    昵称

    取消
    昵称表情代码图片

      暂无评论内容