CivilAI上有非常多漂亮小姐姐模型,这些都是用Lora模型训练出来的。
有了这些LoRa模型,我们就可以很快的生成各种精彩的图片。如果我们希望自己定做某种特定风格或特定人物、动物主题的图片,就需要根据自己的需求做出个性化的lora模型。具体操作也不麻烦,看完下面的教程你也可以很快生成专属于自己的Lora模型。
第一步还是选好几十张图片,进行大小调整、打标签处理。具体可参加之前的文章《AI绘画教程:如何用Stable Diffusion训练出自己专属的人像模型?》可以在Stable Diffusion的训练页面进行图片处理,也可以安装dataset-tag-editor、wd14-tagger这些插件来处理。还可以用一个colab包:lora dataset maker来处理。推荐用lora dataset makercolab包来处理,因为这个包和lora训练的colab包是整合在一起的,使用更加方便。
首先,在谷歌drive里面新建文件夹lora_training,然后在lora_training里面新建一个文件夹datasets,然后在datasets里面新建一个lora训练的文件夹,比如xixigirl
把已经裁剪成512*512尺寸的图片上传到这个文件夹中。
然后启动谷歌colab,打开lora dataset maker这个colab包,在第一步的setup,填入lora训练项目的名称(project name):xixigirl
第4步method这里面选择photorealism captions,因为我们训练的是真人照片;如果是动漫照片,就选anime。
第5步,global_activation_tag填入触发词,就是在提示词输入框里面要调用lora模型的那个特定提示词,比如xixigirl,要填一个特定的词,不要填通用常见的词汇。
然后,选择代码执行程序→全部运行,很快图片就处理好了。
完成后,点击底部的:Click here to open the Lora trainer,打开lora训练程序
Setup这里,填入项目名称:xixigirl,选择训练模型,真人的就选photorealism
训练过程很快,29张图片,16分钟就完成了。
然后在谷歌drive的lora_training/output/xixigirl文件夹里面可以看到生成了6个后缀为safetensors格式的lora模型文件。每个几十M大小。接下来看看模型效果怎么样。
如果用的是stable_diffusion-webui_colab_tw这个colab包,就把刚才的lora模型文件放到models/lora里面,就可以了。
如果是automatic111的colab包,可以打开colab,点击左边的文件夹按钮,打开lora文件夹,然后上传模型文件到这里
然后打开stable diffusion界面,在generate按钮下面点击红色的按钮:show extra networks
然后可以看到lora选项,点击refresh刷新按钮,就可以看到lora模型了。
在提示词输入框里面输入提示词1girl,然后点击xixigirl-05,然后点击generate生成图片按钮,就可以看到xixigirl-05这个lora模型的生成效果了,还不错。
逐个测试其他lora模型,选出自己觉得满意的,然后保存,不满意的删掉即可。OK,大功告成!lora dataset maker 和lora trainer这两个colab包已经放在“AIGC部落”的知识星球中,可以加入下载。
暂无评论内容