人物去除与背景还原:controlNet inpaint模型理解与运用
补充:
1.对于有较多背景占比的图像,controlNet的inpaint模型应该很容易就可以获得我们想要的结果,如果背景只占画面的一小部分,我们很难通过这个办法将余下的背景补全,因为它没有足够的参照用于重绘遮罩部分。如果一定要这么做,你可能需要循环多次使用inpaint模型重绘画面。当然我们也不排除你运气非常好的情况下,直接获得想要的的结果。
2.有些时候如果重绘后的色偏过大,可以通过PS修正,它比在SD里面修改要简单并且有效率得多。
3.用于引导的prompt很重要,适当的promtp有助于你的画面输出,如果你无法确定,你可以逐个添加,观察他们在画面中的作用效果。你也可以使用negative提示词,避免某些元素重绘时出现在遮罩的部分。
4.有些复杂的场景,可能需要生成较多的批量用于筛选,因为重绘时他会参考你的人物周围的画面,如果你的人物周围有很多复杂的物体,那么他就有可能用这些物体来填充画面。如果你不需要这些东,你可能需要用色块提前填充掉,再使用inpaint来重绘。
5.如果你不希望遮罩以外的区域发生变化,你可以使用图生图中的inpaint功能配合controlnet。
6.最大引导强度,可能会带来色偏以及其他额外的小问题,你可能需要抽卡以改善画面或者适当降低强度。
7.最后,当你能理解以上内容后,你就能明白为什么有时照抄参数是没有用的,因为不是参数问题,你应该尝试去分析画面,结合实际调整你的参数,最后才有可能获得你想要的结果。
8.多数时候我们会用它来修改画面局部,这里只是一个特殊的例子,为了方便你理解inpaint模型的用法。
插件:
https://github.com/toriato/stable-diffusion-webui-wd14-tagger
https://github.com/Mikubill/sd-webui-controlnet