Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

layer_xl_bg2ble.safetensors,layer_xl_transparent_conv.safetensors,vae_transparent_encoder.safetensors这一类是大模型,还是Lora?

Answer

layer_xl_bg2ble.safetensors、layer_xl_transparent_conv.safetensors、vae_transparent_encoder.safetensors 这类文件可能是大模型的一部分,也可能是 Lora 模型。

在 AI 模型中:

  • 基础模型(英文名 Checkpoint)是生图必需的,任何生图操作必须要选定一个基础模型才能开始。
  • Lora 是低阶自适应模型,可以理解为基础模型的小插件,生图时可有可无,但在控制面部、材质、物品等细节方面有明显价值。

同时,VAE 是个编码器,功能类似于滤镜,可调整生图的饱和度。

Content generated by AI large model, please carefully verify (powered by aily)

References

Tusiart简易上手教程

1.首页-模型\帖子\排行榜:发布了其他大手子炼成的模型、图片。不同的模型有checkpoint和lora两种不同的标签,有些模型的标签后面还有第二个XL的标签,这是属于SDXL这个新模型的意思。点击后可以看模型的详细信息。模型详情信息的下方,是用这个模型生成的图片,俗称返图区。1.基础模型:生图必需的,英文名Checkpoint。任何生图操作必须要选定一个checkpoint模型才能开始操作。注意,checkpoint区别于lora,这两个东西在模型广场都是混着展示的。checkpoint必选,lora可选可不选,任何主题的作图需求,都可以试着在模型广场上搜索或者浏览,然后收集到模型库中用于生图。1.lora:低阶自适应模型,你可以理解为checkpoint的小插件,生图的时候lora可有可无。但是lora的价值还是很明显的,基本上你看到一些精细的控制,如面部、材质、物品等等细节都常见于用相应的lora进行控制。旁边的数值是lora的权重。1.ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。1.VAE:是个编码器,功能类似于我们熟悉的滤镜,调整生图的饱和度。无脑选择右侧截图中840000这个即可。1.Prompt提示词:想要AI生成的内容(不绝对有效,需要多费功夫学习,哪怕从照抄别人开始)。2.负向提示词Negative Prompt:想要AI避免产生的内容(不绝对有效,也需要费功夫学,哪怕从照抄别人开始)。1.图生图:上传图片之后,sd将根据你的图片和你选择的模型以及输入的prompt等等信息进行重绘。重绘幅度越大,输出的图和输入的图差别就越大。

从 0 到 1 了解大模型安全,看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务,例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的,在transformer中,包括Encoder,Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢?第一,大模型的预训练数据非常大,这些数据往往来自于互联网上,包括论文,代码,以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用TB级别的数据进行预训练。第二,参数非常多,Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中,模型可以根据用户输入的任务描述,或给出详细的例子,完成任务但这与我们熟知的ChatGPT仍然有着很大的差距,使用ChatGPT只需要像和人类一样对话,就可以完成任务。除了形式上的不同之外,还有一个更加重要的差距,那就是安全性上的差别。

Comfyui SD 学社 做一个黏土头像

可以多个lora组合使用,但是需要以一个为主,其他的强度在0.5或者以下,防止冲突CLAYMATE黏土lora(SDXL1.0)https://civitai.com/models/208168?modelVersionId=236248lora触发词claymation迪福森博士的黏土动画风格(SDXL1.0)lora触发词made-of-clayhttps://civitai.com/models/181962/doctor-diffusions-claymation-style-loraClay style(SD1.5)https://civitai.com/models/121119/clay-style[heading5]大模型下载地址迪士尼真实卡通混合(SDXL1.0)[content]DisneyRealCartoonMixhttps://civitai.com/models/212426/disneyrealcartoonmix这个模型与黏土配合测试下来还不错,可能是因为迪士尼的浓眉大眼风格和黏土比较搭吧.模型触发词:modisn disney,modisn disney style大家也可以选择不同的模型测试比如:Playground AI's Playground v2.5 1024pxhttps://civitai.com/models/325263/playground-ais-playground-v25-1024px模型可以自由选择[heading5]这里我们用SDXL来做实验[content]如果不熟悉comfyui的小伙伴,可以先从文生图开始,再到图生图[heading5]文生图

Others are asking
ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUI-aki(1)\ComfyUI-aki-v1.6\ComfyUI\models\checkpoints\flux1-dev-fp8.safetensors
很抱歉,根据您提供的错误信息“ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUIaki\ComfyUIakiv1.6\ComfyUI\models\checkpoints\flux1devfp8.safetensors”,暂时无法明确具体的问题原因。可能是模型文件格式不被识别,或者文件路径存在错误等。建议您检查文件的完整性和正确性,确保其符合相关软件的要求。
2025-03-07
.ckpt还是.safetensors好
在 Stable Diffusion 中,.ckpt 和.safetensors 都是模型文件的后缀。 .ckpt 是序列化过的文件,可能包含恶意代码,加载时存在一定的安全风险。 .safetensors 一般使用 numpy 格式保存,只保存张量数据,没有任何代码,加载时更安全且速度更快。 在使用 WebUI 时,左上角切换的就是主模型,而主模型后缀通常为.ckpt 或者.safetensors,其体积一般在 2G 7G 之间。管理模型需要进入 WebUI 目录下的 models/Stablediffusion 目录。 Checkpoint 包含了 MODEL、CLIP 和 VAE 三个部分,是所有工作流程的起点。
2024-12-18
forge diffusion的layer diffuse插件不管用是什么原因
Forge Diffusion 的 layer diffuse 插件不管用可能有以下原因: 1. 未正确安装 SD WebUI 的 Forge 版本:在安装 layer diffuse 插件之前,需要确保已安装正确的 。 2. 插件安装步骤有误:应在 Forge 界面点击“Extensions”,选中“layerdiffusion”插件,然后点击安装,并等待安装完成。 3. 部分功能未完成:透明 img2img 功能尚未完成(大约一周内完成)。 4. 代码处于动态变化阶段:插件的代码非常动态,可能在接下来的一个月内发生大幅变化。 此信息来自标记狮社区,原文链接:https://mmmnote.com/article/7e8/03/articlee395010da7c846a3.shtml
2025-01-29