Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Lora简单介绍

Answer

Lora 全称 Low-Rank Adaptation Models,即低阶自适应模型,其作用在于影响和微调画面,能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原模型中插入新的数据处理层的方式,避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素,从而生成不同于底模的图片,比如固定的人物相貌、特定的服装或者特定的风格。Lora 训练较为轻量化,所需显存较少,硬件门槛显存达到 6G 即可开启训练。

同时,模型微调方面,提供了 LoRA 微调和全量参数微调代码,关于 LoRA 的详细介绍可参考论文“LoRA:Low-Rank Adaptation of Large Language Models”以及微软 Github 仓库LoRA

此外,还有利用新版 SDXL 生成的如针线娃娃这样的 lora,它可以把一些常见形象制作成毛线编制的样子,需要使用 SDXL1.0 的模型,触发词是 BJ_Sewing_doll。

Content generated by AI large model, please carefully verify (powered by aily)

References

【Lora炼丹术】从零开始,炼制你的第一个LoRA(1)

从接触SD到现在,相信大家一定使用过各种各样的lora,包括人物的、建筑的、画风的等等,那么你有没有想过炼制一款属于自己的lora模型呢。我们先来了解一下炼丹的基础概念,它的关键原理就是——等价交换法则!不好意思,说错了。重新来,Lora全称Low-Rank Adaptation Models,中文翻译为低阶自适应模型。它的作用在于影响和微调画面。通过lora的帮助,可以再现人物或物品的特征。大模型的训练通常是非常复杂且需要很高的电脑配置的,LoRA采用的方式就是在原有的模型中插入新的数据处理层,这样就避免了修改原有模型的参数。LORA模型训练,其实就是用一些特定特征来替换大模型中的对应元素,比如一个固定的人物相貌、特定的服装或者是特定的风格,这样就可以生成不同于底模的图片。所以,lora训练是比较轻量化的,需要的显存也少了很多,硬件门槛显存达到6G就可以开启训练了。我们今天要使用的是B站UP主“朱尼酱”的赛博丹炉,他的这款丹炉,界面更加友好、美观,适合新手入门。废话不多说,我们就正式开始吧。

【SD】萌到出血,SDXL针线娃娃模型

可爱就是正义,今天给大家介绍一个利用新版SDXL生成的lora——针线娃娃。它可以把一些常见的形象制作成毛线编制的样子。这个lora需要使用SDXL1.0的模型才可以运行,触发词是BJ_Sewing_doll。做了一些小动物的图片,很治愈的感觉,一起来看看吧。当然不仅仅是动物,很多小场景也很有爱。有个小彩蛋在里面,看谁能发现,嘿嘿~~想体验这款lora的话,可以添加我的公众号【白马与少年】,回复【SDXL】即可。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号

模型微调

同时提供了LoRA微调和全量参数微调代码,关于LoRA的详细介绍可以参考论文“[LoRA:Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)”以及微软Github仓库[LoRA](https://github.com/microsoft/LoRA)。

Others are asking
Lora训练
以下是关于 Lora 训练的详细步骤: 创建数据集: 1. 进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset)。 2. 在数据集一栏中,点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片没有打标文件(之后可在 C 站使用自动打标功能),或者一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。 5. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 6. 上传 zip 以后等待一段时间。 7. 确认创建数据集。 8. 返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,预览到数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 6. 然后等待训练,会显示预览时间和进度条。 7. 训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 此外,还有一些相关的补充内容: Flux 的 Lora 训练准备: 需要下载几个模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意: 1. 不使用的话它们放到哪里都可以,甚至放一起一个文件夹,只要知道“路径”,后面要引用到“路径”。 2. 因为是训练,不是跑图,训练的话,模型就用 flux1dev.safetensors 这个版本,编码器也用 t5xxl_fp16.safetensors 这个版本最好。 下载脚本和安装虚拟环境: 1. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 2. 下载完解压,在文件中找到 installcnqinglong.ps1 这个文件,右键选择“使用 PowerShell 运行”,新手的话这里就点击“Y”,然后等待 1 2 小时的漫长下载过程,下好了之后最后会提示是否下载 hunyuan 模型,选择 n 不用下载。 SD 训练一套贴纸 LoRA 模型: 1. 在 lora 训练器的根目录下,点击【A 强制更新国内加速】,跑完即可关闭窗口。 2. 双击【A 启动脚本】,请保持终端一直运行,不要关闭。出现下列代码即为启动成功。 3. 滚动至最下点击【LoRA 训练】或者直接点击左侧菜单【LoRA 训练】。
2025-03-30
lora微调
LoRA 微调相关内容如下: 微调脚本: LoRA 微调脚本见:,单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见:。 加载微调模型: 基于 LoRA 微调的模型参数见:基于 Llama2 的中文微调模型,LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。 此外,在 Comfyui AnimateDiff 项目中,有一个关键的 lora 对图像模型进行了微调,lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt,lora 的强度越高,画面越稳定,但需在合理范围。 在 100 基础训练大模型的 Lora 生图中,模型上的数字代表模型强度,可在 0.61.0 之间调节,默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词,可选择基于提示词一次性生成几张图,选择生成图片的尺寸(横板、竖版、正方形)。采样器和调度器新手小白可默认,迭代步数可在 2030 之间调整,CFG 可在 3.57.5 之间调整,随机种子1 代表随机生成图。所有设置完成后,点击开始生成,生成的图会显示在右侧。若某次生成结果不错,想要微调或高分辨率修复,可点开图,下滑复制随机种子,粘贴到随机种子处,下次生成的图会与此次结果近似。若确认合适的种子和参数,想要高清放大,点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 2030 之间,重回幅度在 0.30.7 之间调整。
2025-03-22
lora微调
LoRA 微调相关内容如下: 微调脚本: LoRA 微调脚本见:,单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见:。 加载微调模型: 基于 LoRA 微调的模型参数见:基于 Llama2 的中文微调模型,LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。 此外,在 Comfyui AnimateDiff 项目中,有一个关键的 lora 对图像模型进行了微调,lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt,lora 的强度越高,画面越稳定,但需在合理范围。 在 100 基础训练大模型的 Lora 生图中,模型上的数字代表模型强度,可在 0.61.0 之间调节,默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词,可选择基于提示词一次性生成几张图,选择生成图片的尺寸(横板、竖版、正方形)。采样器和调度器新手小白可默认,迭代步数可在 2030 之间调整,CFG 可在 3.57.5 之间调整,随机种子1 代表随机生成图。所有设置完成后,点击开始生成,生成的图会显示在右侧。若某次生成结果不错,想要微调或高分辨率修复,可点开图,下滑复制随机种子,粘贴到随机种子处,下次生成的图会与此次结果近似。若确认合适的种子和参数,想要高清放大,点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 2030 之间,重回幅度在 0.30.7 之间调整。
2025-03-22
lora微调
LoRA 微调相关内容如下: 微调脚本: LoRA 微调脚本见:,单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见:。 加载微调模型: 基于 LoRA 微调的模型参数见:基于 Llama2 的中文微调模型,LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。 此外,在 Comfyui AnimateDiff 项目中,有一个关键的 lora 对图像模型进行了微调,lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt,lora 的强度越高,画面越稳定,但需在合理范围。 在 100 基础训练大模型的 Lora 生图中,模型上的数字代表模型强度,可在 0.61.0 之间调节,默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词,可选择基于提示词一次性生成几张图,选择生成图片的尺寸(横板、竖版、正方形)。采样器和调度器新手小白可默认,迭代步数可在 2030 之间调整,CFG 可在 3.57.5 之间调整,随机种子1 代表随机生成图。所有设置完成后,点击开始生成,生成的图会显示在右侧。若某次生成结果不错,想要微调或高分辨率修复,可点开图,下滑复制随机种子,粘贴到随机种子处,下次生成的图会与此次结果近似。若确认合适的种子和参数,想要高清放大,点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 2030 之间,重回幅度在 0.30.7 之间调整。
2025-03-22
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置随意,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程,完成后提示是否下载 hunyuan 模型,选择 n 不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,选择上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数。若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择 Lora 和调节参数。
2025-03-15
lora模型
LoRA 模型相关信息如下: Fooocus 程序默认用到了 3 个 SDXL 的模型,包括一个 base、一个 Refiner 和一个 LoRA。LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras 。如果单独安装,需要下载三个模型: SDXL 基础模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型:https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包,也可共用模型(大模型和 LoRA),可在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中修改路径为秋叶包模型对应的路径,配置好后点击 run.bat 文件启动。 Lora 全称 LowRank Adaptation Models,中文翻译为低阶自适应模型,作用在于影响和微调画面,通过它可以再现人物或物品的特征。大模型训练复杂且对电脑配置要求高,LoRA 采用在原模型中插入新的数据处理层的方式,避免修改原有模型参数,训练轻量化,显存达到 6G 即可开启训练。 有利用新版 SDXL 生成的 lora 如针线娃娃,需要使用 SDXL1.0 的模型才可以运行,触发词是 BJ_Sewing_doll。想体验可添加公众号【白马与少年】,回复【SDXL】。
2025-03-09
waytoagi 简单介绍
“通往 AGI 之路”(WaytoAGI)是一个致力于人工智能学习的中文知识库和社区平台: 旨在为学习者提供系统全面的 AI 学习路径,涵盖从基础概念到实际应用的各个方面,帮助用户有效地获取 AI 知识,提高自身能力。 由开发者、学者和 AI 爱好者共同参与建设,提供丰富的学习资源,包括文章、教程、工具推荐以及最新的 AI 行业资讯等。 定期组织活动,如视频挑战赛、模型创作大赛等,鼓励成员在实践中学习,促进交流与合作。 其品牌 VI 融合了独特的设计元素: 选择彩虹色作为主要的配色方案,代表多样性、包容性和创新。 标志性图案是一只鹿,与“路”谐音,象征着通往 AGI 未来的道路,寓意优雅与智慧。 选用简洁现代的非衬线字体,强调信息传达的清晰度和直接性。 此外,WaytoAGI 里有个离谱村: 是由 WaytoAGI 孵化的千人共创项目,让大家学习和接触 AI 更容易、更感兴趣。 参与者不分年龄层,一起脑洞和创意,都可以通过 AI 工具快速简单地创作出各种各样的作品。 离谱村是一个没有被定义的地方,每个人心中都有自己想象中的离谱村,是灵魂的避风港,激励着每一个生命体发挥其无限的想象力,创造属于自己的独特生活方式。 如果您对 AI 学习感兴趣,加入“通往 AGI 之路”社区将是一个不错的选择。在这里,您可以获取最新的 AI 知识,参与实践活动,与志同道合的学习者共同成长。
2025-04-14
我是一名AI古诗词视频创作者,我想教大家如果用AI软件将古诗词的内容用视频形式表现出来,请帮我写一个教学文档,要求内容丰富,从简单到复杂,从入门到深层思考和学习,包括提示词怎么写,提示词模板,提示词举例等
以下是一份关于如何用 AI 软件将古诗词内容以视频形式表现出来的教学文档: 一、简单入门 如果是简单的图,找原图直接写提示词即可。 二、复杂图片处理 1. 图片分模块 对于复杂部分的图,把长图分多个模块。例如,将一张图分成 4 个模块。 2. 抠出背景图 智能抠图。用工具把要动的内容去除掉,用 AI 生成图片部分。如果有水印,可以把图片向下拓展一部分,然后截掉。 3. 绿幕处理前景图 将要拿来动起来的部分抠出,放在绿幕背景里或者画的背景颜色,导出图片。 4. 前景图动态生成视频 用 AI 视频生成工具写入提示词让图片动起来。有很多工具可供选择,如即梦、海螺、混元等。不停尝试抽卡即可。 5. 生成视频去掉背景 用剪映把抽卡合格的视频放在去掉内容的背景图片上,视频的背景用色度抠图调整去掉。多个视频放在背景图片,一起动即可。 三、提示词相关 1. 文案生成 工具:DeepSeek 操作:打开 DeepSeek 网站(https://chat.deepseek.com/ ),输入提示词。例如:“让 XX 用现代口语化的表达、生气骂人的口吻吐槽 XXXX(例如:吐槽现代人),XXX 目的(例如:推广 XXX 吸引游客来旅游),输出 3 条 60 字左右的毒舌文案,每条里面都要有‘回答我!Look in my eyes!Tell me!why?baby!why?’”可以根据自己的内容自行调整文案和字数要求。点击生成,等待 DeepSeek 输出 3 条文案。从中挑选最满意的一条(或多条)保存备用。 2. 准备人物形象图 工具:即梦 AI 操作:打开即梦 AI 网站(https://jimeng.jianying.com/aitool/image/generate ),输入提示词,即梦已经接入了 DeepSeek,可以直接用它来生成绘图提示词。调整生成参数(如风格、细节等),点击生成。预览生成的人物图,不满意可调整提示词重新生成,直到满意为止。下载最终的人物形象图。 四、其他注意事项 1. 指定视觉细节 包括颜色、照明、相机角度和风格等任何视觉元素的描述。提供的细节越多,输出就越接近您的愿景。 2. 提及所需长度和格式 如果您对特定的长度(以秒或分钟为单位)或格式(宽高比、分辨率)有想法,请提及。这对于 AI 生成符合您要求的内容至关重要。 3. 概述音频偏好 如果您的视频需要特定的音频元素,如背景音乐、旁白或音效,请详细描述。指定您是希望 AI 生成这些元素还是您自己提供。 4. 考虑道德和版权准则 确保您的提示符合道德标准和版权法。避免请求侵犯版权或涉及没有适当背景的敏感主题的内容。 请根据您的具体需求和所使用的视频 AI 工具的能力调整模板和示例。记住,输出的质量在很大程度上取决于您通过提示传达愿景的效果。
2025-04-08
将照片改成卡通效果用什么ai会比较简单易操作
以下几种 AI 工具可以将照片改成卡通效果,操作相对简单易操作: 1. ChatGPT 4o:支持上传照片后直接生成“吉卜力卡通风格”图像,提示词只需简单写“吉卜力风格化”即可,后续会话中只需上传图片,无需重复输入提示词。参考链接:
2025-04-08
有哪些AI代码可生成的简单好玩的东西
以下是一些通过 AI 代码可生成的简单好玩的东西: 1. 小游戏: 贪吃蛇游戏:在 Trae 上,通过快捷键打开 AI 聊天窗口,点击“Builder 模式”,输入“帮我创建一个贪食蛇的游戏”,等 60 秒,AI 生成代码,点“运行”。 赛车游戏:把刚刚创建的贪吃蛇游戏代码删掉,然后输入“帮我创建一个赛车游戏”,等 60 秒,AI 生成代码,点“运行”。 2. 待办事项清单: 直接在对话框输入“生成一个待办事项清单的应用”。 上传图片给 AI,并告诉它“我要一个与图片类似的待办事项清单”。 3. 任务清单应用:在输入框中输入“使用 Web 技术开发一个任务清单应用”。 4. 根据 UI 设计图自动生成项目代码:从站酷上找一张设计图,输入提示“使用 html 技术实现如图大屏页面”,然后根据需要让 Trae 进行调整。 从实际体验来看,Trae 具有高效的代码生成能力、多技术栈支持和动态调整潜力。无论是小游戏、待办事项清单还是其他应用,都能在短时间内生成完整框架,代码结构清晰且功能齐全。
2025-03-27
有哪些AI工具可以获取上市公司年报数据。我是小白,推荐简单好学的工具。
以下是一些可能获取上市公司年报数据的 AI 工具及相关信息: AI 智库:提供了上市公司的相关排名和产品信息,如百度、美图公司、阿里巴巴、昆仑万维等公司的情况。 余一的相关文档:包括《从 2023 年报,看中国上市公司怎么使用生成式 AI》等,可通过相关链接获取详细内容。 对于小白来说,您可以先尝试从这些资源中获取所需的上市公司年报数据。
2025-03-25
什么AI可以帮忙简单处理图片
以下几种 AI 可以帮忙简单处理图片: 1. SD(StableDiffusion):启用 MutiDiffusion 插件,不开放大倍数,仅使用分块渲染功能,能在显存不够的情况下放大图片。可对老照片进行上色、高清化处理,但处理复杂照片时可能有难度,需要调整策略,如放弃人物服装颜色指定,只给场景方向,加入第二个 controlnet 控制颜色等。 2. OpenAI:可以利用代码解释器中的 Python 以图片流的方式处理图片,但 Python 因缺少包不能直接处理图片。 3. 扣子:整个工作流程包括用户输入关键词,大模型制作金句,根据金句生成画面描述,结合描述和关键词使用扣子官方插件生成图片,再使用图像流方式结合金句和图片。 4. MJ(Midjourney):加上简单相机参数、写实风格,使用 MJ v 6.0 绘图,可根据需求调整图片比例。 5. InsightFaceSwap:用于处理图片的换脸操作,如输入“/saveid”和“/swapid”等指令上传图片进行处理,但对老外的脸识别度较好,效果可能因情况而异。 处理图片时还可能涉及到 PS 等工具进行裁剪、拼接等操作。
2025-03-21
金融业相关AI应用场景或AI技术介绍
在金融业中,AI 有以下应用场景和技术: 1. 风控和反欺诈:用于识别和阻止欺诈行为,降低金融机构的风险。 2. 信用评估:评估借款人的信用风险,帮助金融机构做出更好的贷款决策。 3. 投资分析:分析市场数据,辅助投资者做出更明智的投资决策。 4. 客户服务:提供 24/7 的客户服务,回答客户常见问题。 例如,Hebbia 获得近 1 亿美元 B 轮融资,其 AI 技术能够一次处理多达数百万份文档,在短时间内浏览数十亿份包括 PDF、PowerPoint、电子表格和转录内容等,并返回具体答案,主要面向金融服务公司,如对冲基金和投资银行,同时也适用于律师事务所等其他专业领域。
2025-04-15
rag介绍
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构,旨在为大语言模型(LLM)提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点: 1. LLM 无法记住所有知识,尤其是长尾知识,受限于训练数据和学习方式,对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新,微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证,存在内容黑盒、不可控以及受幻觉等问题干扰的情况。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大,训练和运行成本高。 RAG 具有以下优点: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,可解释且对原有知识无影响。 3. 数据库内容明确、结构化,加上模型的理解能力,能降低大模型输出出错的可能。 4. 知识库存储用户数据,便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本,新知识存储在数据库即可,无需频繁更新模型。 RAG 的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程: 1. 文档加载:从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器,包括 PDF 在内的非结构化数据、SQL 在内的结构化数据,以及 Python、Java 之类的代码等。 2. 文本分割:文本分割器把 Documents 切分为指定大小的块,称为“文档块”或者“文档片”。 3. 存储:涉及将切分好的文档块进行嵌入转换成向量的形式,并将 Embedding 后的向量数据存储到向量数据库。 4. 检索:通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出:把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
介绍下即梦3.0的模型,为什么很多人说它好用
即梦 3.0 模型具有以下显著特点,这也是很多人认为它好用的原因: 1. 超真实: 质感提升:图片不再有磨皮过度的“假脸感”、“油腻感”,皮肤纹理、物品材质更自然。 情绪到位:人物表情不再僵硬或眼神空洞,能表现出更细腻、更有感染力的情绪,如开心、严肃、沮丧落泪等。 2. 超高清:默认能生成 1K 分辨率图片,还支持到 2K,画面更清晰,结构更准确。 3. 超专业: 影像大师:能更精准地理解电影类型(如恐怖片、爱情片、公路片)和镜头语言(如大特写、鱼眼镜头、俯视视角)。 动漫高手:动漫风格更多元(日漫、国漫、皮克斯风等),细节更丰富,色彩更统一,告别“抠图感”。 文字设计:不仅能准确生成大字、小字,还支持超多字体(细体、粗体、可爱体、毛笔字、涂鸦体等),排版更专业、更有设计感。 4. 超智能:能更好地理解自然语言描述,简单的指令也能出好图,支持“一句话 P 图”的自然语言编辑能力。 此外,即梦 3.0 在文字处理方面表现出色,不仅提升了大字的准确性、设计感和丰富度,还大幅解决了小字的稳定性问题。相比之下,在中文场景中,其他模型可能存在一些局限性,如 GPT4o 可能存在不识别某些中文字、难以生成特别设计感的字体等问题。而即梦 3.0 作为中文 AI 绘图模型,在中文的表现性上对国内用户更有用且友好。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标: 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状,识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物): 请输出10个业务价值高、具备可行性的AI应用场景介绍,并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您生成的 10 个业务价值高、具备可行性的 AI 应用场景介绍: 1. 人才招聘与筛选 What:利用 AI 技术对求职者的简历进行自动筛选和分析,评估其与岗位的匹配度。 Why:节省 HR 大量的时间和精力,提高招聘效率和准确性。 How:通过自然语言处理和机器学习算法,训练模型识别关键信息和技能。 2. 员工培训与发展 What:根据员工的技能水平和职业发展目标,定制个性化的培训计划。 Why:提升员工的能力和绩效,增强员工对企业的忠诚度。 How:利用大数据分析员工的工作表现和学习需求,推荐相关课程和学习资源。 3. 薪酬福利管理 What:运用 AI 预测市场薪酬趋势,为企业制定合理的薪酬策略。 Why:保持企业薪酬的竞争力,吸引和留住优秀人才。 How:收集和分析行业薪酬数据,结合企业的财务状况和战略目标进行优化。 4. 员工绩效评估 What:借助 AI 实时监测员工的工作表现,提供客观的绩效评估。 Why:减少人为偏差,确保评估的公正性和准确性。 How:利用工作流程数据和行为分析模型进行评估。 5. 员工关系管理 What:通过 AI 分析员工的情绪和满意度,及时发现问题并解决。 Why:营造良好的工作氛围,提高员工的工作积极性和创造力。 How:使用情感分析技术处理员工的反馈和交流信息。 6. 组织架构优化 What:利用 AI 分析企业的业务流程和人员配置,提供组织架构调整建议。 Why:提高企业的运营效率和灵活性,适应市场变化。 How:基于数据分析和模拟优化算法进行评估和推荐。 7. 人力资源规划 What:根据企业的战略目标和业务发展预测人力资源需求。 Why:提前做好人才储备和招聘计划,保障企业的正常运营。 How:运用数据分析和预测模型进行规划。 8. 企业文化传播 What:使用 AI 生成个性化的企业文化宣传内容,提高传播效果。 Why:增强员工对企业文化的认同感和归属感。 How:利用自然语言生成技术和个性化推荐算法。 9. 智能客服 What:在 HR 服务中引入 AI 客服,解答员工常见问题。 Why:快速响应员工需求,提高服务质量。 How:训练智能客服模型,涵盖常见的 HR 问题和解决方案。 10. 人才库管理 What:利用 AI 对人才库进行分类和更新,提高人才库的利用效率。 Why:方便快速找到合适的人才,降低招聘成本。 How:运用数据挖掘和分类算法进行管理。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标: 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状,识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物): 请输出3-5个业务价值高、具备可行性的AI应用场景介绍,并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您提供的 3 个业务价值高、具备可行性的 AI 应用场景介绍: 场景一:AI 在企业招聘中的应用 What:利用 AI 技术进行简历筛选、人才匹配和面试评估。 Why:能够快速处理大量简历,提高招聘效率和准确性,节省人力和时间成本,同时更精准地找到符合岗位需求的人才。 How:通过引入相关的 AI 招聘软件,与企业现有的招聘系统集成,对简历进行关键词提取和分析,利用机器学习算法进行人才匹配,并通过视频面试中的语音和表情分析辅助评估候选人。 场景二:AI 助力个性化人力资源管理 What:根据员工的个人特点和工作表现,提供个性化的培训计划、职业发展建议和绩效评估。 Why:能够充分发挥员工的潜力,提高员工满意度和忠诚度,促进企业的长期发展。 How:收集员工的工作数据、学习记录和绩效表现等信息,运用 AI 算法进行分析和预测,为员工制定专属的发展方案,并通过移动应用或内部系统向员工推送相关建议和培训课程。 场景三:AI 打造无人值守的 HR 平台 What:实现 HR 业务的自动化处理,如员工请假审批、薪酬计算和福利发放等。 Why:减少人工操作的错误和繁琐流程,提高 HR 工作的效率和准确性,使 HR 人员能够专注于更有价值的战略工作。 How:整合企业内部的各种 HR 系统和数据,利用 RPA 和 AI 技术实现流程的自动化,同时建立监控和预警机制,确保平台的稳定运行。
2025-04-14