SD文生图细节/为什么我的SD1.5模型生成效果很模糊

不学能干嘛

已于 2023-12-27 11:11:39 修改

阅读量3k

点赞数 5

文章标签：人工智能 stable diffusion

于 2023-11-21 16:05:55 首次发布

本文链接： https://blog.csdn.net/m0_59805198/article/details/134531129

版权

文章讲述了在使用SD的LoRa模型时遇到的模糊图像问题，通过调整文生图参数（如高分辨率修复、VAE选择）、利用R-ESRGAN算法和随机数种子来改善生成效果。作者分享了解决思路和具体操作步骤，包括使用预训练模型和个性化参数设置。

摘要由CSDN通过智能技术生成

一、描述问题

首先具体描述一下我的问题，在尝试训练SD的lora模型前，我想先试试本身SD1.5的一些模型自身或者加上一些稍微相关的lora的生成效果，但我发现不管是什么ckpt生成效果都很模糊和奇怪，就在想难道真的和SDXL差距有这么这么这么大吗？不可能啊，又追溯回ckpt作者的生成效果，把作者的图通过PNG图片处理再输入到文生图里，发觉了自己的文生图出的问题。

二、解决方法

1. 解决思路

这里首先提一下解决思路，如果文生图的效果没有训练样图的效果或者不是正常的模型出图，最好的办法就是把原作者或者类似模型生成的图片放到PNG图片信息里然后导入到文生图里对比别人的生成参数，站在巨人的肩膀上思考问题，解决问题事半功倍。

这里针对问题的具体解决方法就是调整文生图参数，主要是分为高分辨率修复和选择合适的VAE。

2. 高分辨率修复

文生图的时候就是没有点这里，这里重点是选择放大算法，具体细节可以参考以下博客：AI绘画教程：如何在stable diffusion中生成高清大图？ - 知乎 (zhihu.com)

常用的是R-ESRGAN 4x+算法或者4x-UltraSharp算法，注意选了这个之后，程序会首先自动去github上下载所需要的pth文件，一般下载会很慢，最好提前手动下载然后放到对应的文件夹里。

这里附一个R-ESRGAN 4x+算法下载地址

https://github.com/xinntao/Real-ESRGAN/releases/download/v0.1.0/RealESRGAN_x4plus.pth"

存放路径

/home/disk1/SD/stable-diffusion-webui-master/models/RealESRGAN/RealESRGAN_x4plus.pth

除了这里直接处理，还可以把图片输入到后期处理的插件里，那里也有高清修复的功能，和这里是类似的操作。

3. 选择合适的VAE

开了高分分辨率修复之后生成图片发现还是不够高清，以下是完整的原作者的文生图参数，参考，发觉还有覆盖设置的问题，还要加VAE。

而且后面比较发现，VAE的影响更大，sd1.5模型常用VAE:vae-ft-mse-840000-ema-pruned.safetensors，如果文生图页面没有覆盖设置直接调VAE，可以去设置里面修改VAE，记得点保存。

有了VAE之后生成的图像都是高清的了，如下图。

但是不太理解，VAE更像是滤镜，是颜色色调上的变动，为什么会影响生成的高清度（思考），常用这个Vae-ft-mse-840000-ema-pruned. Safetensors，接近实际拍摄。

Stable Diffusion｜VAE 到底是什么？ - 知乎 (zhihu.com)

4. 随机数种子

另外提一下随机数种子，随机数种子首先默认是-1，表示随便生成什么样我都可以接受，但你在生成过程中要是有中意的图片和感觉，这也是我在生成过程中想到怎么提高生成效果稳定的问题，这时候你就把中意的图片的Seed填入随机数种子里，这样就会按照你的中意来生成相似的图片，有个约束在了。

然后差异随机种子通常默认-1，可以改差异强度，0表示和随机种子的图一样，1表示在随机种子基础上变化很大，一般变化0.05以上就会有比较明显的差异。

具体细节po一个链接，不懂的还可以看【AI绘画】Stable diffusion初级教程10——随机种子及内置三种脚本介绍 - 知乎 (zhihu.com)

后续用随机数种子来扩增数据集，发现了同参数同差异强度的情况下，重复生成，图像基本也不会变，所以差异强度尽量小幅度小幅度0.05左右地变化，0.02范围内的话生成图像基本没啥差异，尽量每次生成单幅图像，不然会有鬼图生成。选随机数种子这个方法只能用来小小的变化，大变化是不可能的，所以你选的中意图像也要尽可能是需求中最符合的图像。