#挑战30天在头条写日记#

之前在Youtube上介绍Stable Diffusion很有名的光头佬Olivio Sarikas发过一个影片，介绍了如何使用一张图来训练LoRA，本文就来讨论，我们是否能靠着一张图，就能训练出LoRA。

我原本以为光头佬Olivio Sarikas要教如何从一张图，生成许多素材图来训练LoRA，但没想到他是真的只靠一张图，经过放大分割成二十几张小图来训练LoRA。这样的训练法其实也是可行的，但是它只能用在风格、场景型的LoRA，而且对整体风格的干扰非常严重，除非是要大量生成类似的场景，要不然用处不大。

那，我们真的能只靠一张图来生成LoRA需要的训练素材图吗？

根据我在AI绘图|Stable Diffusion进阶—— ControlNet新模型Reference实战做的观察，理论上只要是Reference能够参照复制的角色图，我们就能制作出大量的素材图来训练LoRA。而这篇就要来实作验证。

实验

这次我想从一个比较模糊的角色图开始，藉由设定角色的个性与经历来建立她的外貌特征，然后开始产生素材图，用这样的方式模拟一般角色发想的流程。

这次的实验从之前的一幅图「姐妹会秘议」开始，由于这张图的构图非常有趣，充满故事性，画中的每个人物似乎都有一个可以说的故事，于是我决定把我觉得最有感觉的角色独立出来制作LoRA：

在这幅画之中，这个角色只有一个大略的模糊形象跟衣着特色，如果要制作当成LoRA训练的素材，解析度必须高，角色的五官特征必须足够锐利，否则就会练出一堆烂掉的图。

所以首先必须将图局部放大之后再Inpaint，并且用绘图软体修掉斑点与太过模糊的细节：

从这个基础角色图，可以归纳出这个角色的外部特征：

黑发，高马尾，深蓝色眼睛，柳眉，三十岁以上，严肃，两分浏海。

接着来使用ControlNet的Reference前处理器来抽取这张基础图的特征，然后通过不断尝试不同的提示词来制作类似的角色：

经过几次测试调整，我使用这样的正面提示词来引导原始参照图产生我要的结果：

(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.2), (1girl:1.2),

35 years old, long ponytail, black hair, victorian dress, red dress, shawl, long sleeves, wide sleeves,

serious face,

extreme detailed, highest detailed, fantasy, dynamic pose , half body portrait

在这串提示词中，35 years old, long ponytail, black hair, victorian dress, red dress, shawl, long sleeves, wide sleeves限制了角色的外部特征，serious face限制了角色的表情，dynamic pose保证我可以产出多样的姿态与摄影机角度，确保LoRA训练时的素材图拥有不同角度与光影。下面是几张产生的训练图：

我使用了大约四十张训练素材图，然后使用这几篇文章的流程来使用Google Colab训练LoRA：

AI绘图|如何使用Stable Diffusion训练自己的LoRA模型实战（一）

AI绘图|如何使用Stable Diffusion训练自己的LoRA模型实战（二）

AI绘图|如何使用Stable Diffusion训练自己的LoRA模型实战（三）

AI绘图|如何使用Stable Diffusion训练自己的LoRA模型实战（四）

借此产生了LoRA。

验证

我使用X/Y/Z plot来测试在不同的权重，不同的表情在原始模型GhostMix下的表现：

另外也要确认这个LoRA可以在其他模型，例如拟真系的RealDosMix里面运作：

就这样，我们完成了用一张草图训练出LoRA的策略了！

这个方法目前仅适用于能够用ControlNet的Reference来再现特征的图，目前已知拟真系与真实照片不太能用这方法来制作训练素材，所以目前它只适用于动漫画人物的训练。