学习率是指 AI 学习图片或进行训练时的效率。以下是关于学习率的一些重要特点和相关内容:
并行数量:代表了AI在同一时间学习多少张图片。数值越大,训练速度越快,内存占用越大,但收敛得慢。反之,数值越小,训练速度越慢,内存占用越小,但收敛得快。以512*512的图片为例,显存小于等于6g,batch size就老老实实地设置为1就行了;如果显存为12g以上的话,batch size就可以设置为4或者6。这里提到一个收敛的概念,就是说你最后生成的图片,和原图越像,就说明收敛得越好。训练速度越快的话,就像一个人在快速地翻书,虽然很快翻完了,但是未必能全记得住,所以并不是训练速度越快越好。在一般情况下,我们增加并行数量,同时也会增加一些循环次数,让AI多看几遍书。3质量设置主要是用来影响产出LORA的一个最终质量,当然最终lora的好坏还需要通过XYZ去测试和看实际的loss值。学习率指的是AI学习图片时的效率,学习率太高会出现过拟合,图片和素材太相似;学习率低会出现不拟合,图片和素材没关系。1e-4是一种程序里的数学表达,实际上就是1除以10的4次方,即:1e-4=1/10000=0.00011e-5=1/100000=0.00001
学习率指的是一次迭代(即输入一个样本对它学习,并用此次学习的经验调整神经网络)的步长。这个值越大,表明一次学习对模型的影响越大。为了让学习循序渐进,学习率不应该太高,我们需要AI在训练中反复总结一点点经验,最后累积为完整的学习成果。合理的学习率会让学习过程收敛,Loss达到足够低。学习率太低,容易出现局部最优解,类似于“一个开车的AI稀里糊涂地开完全程,车技很菜”;学习率太高,容易使得模型不收敛,找不到解,类似于“一个开车的AI完全不会开车,只会原地打圈瞎操作”。
如果想追求品质最好的模型效果可以参考青龙圣者提出的黄金学习率计算方法详情可看:[https://www.bilibili.com/video/BV15j411F7nJ/?spm_id_from=333.999.0.0](https://www.bilibili.com/video/BV15j411F7nJ/?spm_id_from=333.999.0.0)根据可视化学习曲线图我们可以观测到一个最佳的学习率值。取最高值除3即可得出一个最佳学习率数值然后填到Lr和unet_lr、text_encoder_l对应的参数上这是一个玄学方法,感兴趣的可以自己去深入研究,其目的也是能够让模型最终效果更好。Tensorboard(可视化学习曲线)首先需要安装GIT:[https://git-scm.com/download/win](https://git-scm.com/download/win)1.安装方法:在训练脚本根目录鼠标右键点击Git bash here --在指令窗口输入pip install tensorboard安装依赖。2.使用方法:首先开始跑第一次训练,跑不跑完都可以,然后找到LoraTrain\lora-scripts\logs路径内找到最新时间戳的文件夹名称,再这个文件夹内鼠标邮件再次唤出Git bash here指令窗口输入