Stable Diffusion ControlNet1.1详解(二)

Hello~o~朋友们

欢迎回到AI趣闻屋。

趣闻屋今天无意打开ControlNet官网。

惊了!

又更新!

这,不得不佩服这帮大佬的更新速度,欻欻快!

新版的UI多了三个功能,我们来探讨下。

然后再把inpaint模型的使用方法给大家补上。这可是个好东西~

(文末附ControlNet详解第一弹的电梯)

截止4.26号 00:00,更新后的 ControlNet 版本为1.1.106,比1.1多了三个功能:

1.Pixel Perfect 直译【完美像素】好了,这个功能是让ControlNet自适应预处理分辨率(Preprocessor resolution)的,开启后会隐藏 【Preprocessor resolution】滑动条。

2.Control Mode (Guess Mode) 原猜测模式,现在改成控制模式,作用是改变使用ControlNet来生成图像时的影响因子,有三个选项供选择:

(1) Balanced: 平衡模式,在提示词和ControlNet之间有AI取一个中间值

(2) My prompt is more important: 提示词优先,提示词的影响因子更高

(3) ControlNet is more important: ControlNet 优先,ControlNet的影响因子更高

3.[Loopback] Automatically send generated images to this ControlNet unit 这是个啥,趣闻屋没整明白,有知道的同学评论区分享下呗

Inpaint模型使用方法

Inpaint模型,需要用到图生图(img2img)里的inpaint选项,是在原生的inpaint模式上加上ControlNet的控制。

在ControlNet精准控图下,让inpaint重绘操作保留原图细节。比如换头发颜色,能很好的保留头发的纹理细节。更换瞳孔颜色,不会改变瞳孔的位置。等等~

举两个栗子来看看。

栗子1:

我们要改变下面这个女孩的头发颜色:

遮罩图:

参数设置:

正向提示词:

red hair

反向提示词:

sock,kitsch, ugly, oversaturated, grain, low-res, Deformed, blurry, blur, poorly drawn, mangled, surreal, text,by <bad-artist:0.8>, <bad_prompt_version2:0.8>

Steps: 25, Sampler: DPM++ SDE Karras, CFG scale: 5, Seed: 3121908537,

Model: revAnimated_v122, Denoising strength: 0.6, Mask blur: 4

ControlNet设置:

使用ControlNet Canny模型,在图生图(img2img)重绘强度0.6的情况下,得到:

不使用ControlNet,只使用原生inpaint的情况下得到:

原图:

可以看到,原生的inpaint虽然也修改了头发颜色,但是头发的纹理也被改变,而使用了ControlNet Canny的inpaint能很好的保留了头发的发现和垂落位置。

不止这些~

ControlNet的精准控制有多强,我们来看一个更复杂的栗子。

栗子2:

在一张有两个女孩的图像里,把其中一个女孩的头发颜色,眼睛颜色和衣服颜色一起更换。

如图:

目标:改变左边女孩的头发颜色为绿色,瞳孔颜色为红色,和衣服颜色为红色。

遮罩图:

参数设置:

正向提示词:

1girl, cute,(red shirt:1.2),upper body, (red eyes:1.4), green hair,

反向提示词:

sock,kitsch, ugly, oversaturated, grain, low-res, Deformed, blurry, blur, poorly drawn, mangled, surreal, text,by <bad-artist:0.8>, <bad_prompt_version2:0.8>

Steps: 25, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 3161121900,

Model: revAnimated_v122,

Denoising strength: 1,

Mask blur: 4

我们想要改变这么多内容,第一步得把重绘值调高到0.8以上。

但这样一来,改变的就不仅仅只有颜色了,还会改变体态和造型。

如下,重绘强度低0.6的时候:

只是改变一小部分,头发颜色,虽然还保持依靠在墙边的姿势,但手部已经随机了。

重绘强度低1:

出现的人物跟背景已经不契合,不搭调。

ControlNet要解决这样的问题,简直简单到爆:

一个简单的lineart模型,控制模式调成【My prompt is more important】:

完美演绎什么是,换装秀!

再放原图对比下:

虽然修改了一些细节,但是发型,瞳孔位置,衣服褶皱都很好的保留下来。

绝了!

完~

本章到这结束咯~

非常感谢小伙伴们的阅读!

我们下期见~

电梯:

ControlNet详解(一)

文生图详解

图生图详解

    THE END
    喜欢就支持一下吧
    点赞15 分享
    评论 抢沙发
    头像
    欢迎您留下宝贵的见解!
    提交
    头像

    昵称

    取消
    昵称表情代码图片

      暂无评论内容