Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Lora模型训练数据集

Answer

以下是关于 Lora 模型训练数据集的相关内容:

创建数据集

  1. 进入厚德云-模型训练-数据集(https://portal.houdeyun.cn/sd/dataset)。
  2. 在数据集一栏中,点击右上角创建数据集,输入数据集名称。
  3. 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片(之后可在 c 站使用自动打标功能),还可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。
  4. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。
  5. 上传 zip 以后等待一段时间,确认创建数据集。返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,能预览到数据集的图片以及对应的标签。

Lora 训练

  1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。
  2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。
  3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
  4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。
  5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。然后等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。

用 SD 训练一套贴纸 LoRA 模型的工作流

  1. 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。
  2. 二次加工:完成贴纸的白色边线等细节加工。
  3. 处理素材:给训练集图片打 tag,修改 tag。
  4. 训练模型:将上述处理好的数据集做成训练集,进行训练。

用 SD 训练一套贴纸 LoRA 模型的原始形象:MJ 关键词: A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...--ar 3:4 --niji 5 --style cute --s 180 。会得到不同风格的贴图,我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征,比如都是可爱的兔子,有不同的衣服和头饰,都有一双大大的卡通眼睛,会有不同的面部表情。

注意事项

  1. 关键词中限制了颜色,因此 MJ 生成的图片会一种情绪对应一种颜色,所以同一种情绪最好多生成几张不同色系的,可以减少后续训练中模型把情绪和颜色做挂钩(如果需要这样的话,也可以反其道而行之)。
  2. 数据集中正面情绪与负面情绪最好比例差不多,如果都是正面积极的,在出一些负面情时(sad,cry)的时候,可能会出现奇怪的问题(如我们训练的是兔子形象,但 ai 认知的 sad 可能是人的形象,可能会出现人物特征)。
  3. 如果训练 256*266 大小的表情包,这样的素材就已经够用了。如果要训练更高像素的图片,则需要进一步使用 MJ 垫图和高清扩展功能。

高清化: 左(256)→右(1024),输入左图,加入内容描述,加入风格描述,挑选合适的,选出新 30 张图片(卡通二次元类型的 lora 训练集 30 张差不多,真人 60-100 张)。

Content generated by AI large model, please carefully verify (powered by aily)

References

10-0基础训练大模型

在数据集一栏中,点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt,也可以只有图片没有打标文件(之后你可以在c站使用它的自动打标功能)你也可以一张一张单独上传照片,但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二· Lora训练[content]点击Flux,基础模型会默认是FLUX 1.0D版本选择数据集,点击右侧箭头,会跳出你所有上传过的数据集触发词可有可无,取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数如果不知道如何设置,可以默认20重复次数和10轮训练轮数可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力然后就可以等待训练了,会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型,中间会有个生图,点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

如何用 SD 训练一套贴纸 LoRA 模型

原始形象:MJ初步产出符合设计想法的贴纸原始形象二次加工:完成贴纸的白色边线等细节加工处理素材:给训练集图片打tag,修改tag训练模型:将上述处理好的数据集做成训练集,进行训练

如何用 SD 训练一套贴纸 LoRA 模型

左(256)→右(1024)输入左图,加入内容描述,加入风格描述,挑选合适的选出新30张图片(卡通二次元类型的lora训练集30张差不多,真人60-100张)

Others are asking
Lora训练
以下是关于 Lora 训练的详细步骤: 创建数据集: 1. 进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset)。 2. 在数据集一栏中,点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片没有打标文件(之后可在 C 站使用自动打标功能),或者一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。 5. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 6. 上传 zip 以后等待一段时间。 7. 确认创建数据集。 8. 返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,预览到数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 6. 然后等待训练,会显示预览时间和进度条。 7. 训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 此外,还有一些相关的补充内容: Flux 的 Lora 训练准备: 需要下载几个模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意: 1. 不使用的话它们放到哪里都可以,甚至放一起一个文件夹,只要知道“路径”,后面要引用到“路径”。 2. 因为是训练,不是跑图,训练的话,模型就用 flux1dev.safetensors 这个版本,编码器也用 t5xxl_fp16.safetensors 这个版本最好。 下载脚本和安装虚拟环境: 1. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 2. 下载完解压,在文件中找到 installcnqinglong.ps1 这个文件,右键选择“使用 PowerShell 运行”,新手的话这里就点击“Y”,然后等待 1 2 小时的漫长下载过程,下好了之后最后会提示是否下载 hunyuan 模型,选择 n 不用下载。 SD 训练一套贴纸 LoRA 模型: 1. 在 lora 训练器的根目录下,点击【A 强制更新国内加速】,跑完即可关闭窗口。 2. 双击【A 启动脚本】,请保持终端一直运行,不要关闭。出现下列代码即为启动成功。 3. 滚动至最下点击【LoRA 训练】或者直接点击左侧菜单【LoRA 训练】。
2025-03-30
lora微调
LoRA 微调相关内容如下: 微调脚本: LoRA 微调脚本见:,单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见:。 加载微调模型: 基于 LoRA 微调的模型参数见:基于 Llama2 的中文微调模型,LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。 此外,在 Comfyui AnimateDiff 项目中,有一个关键的 lora 对图像模型进行了微调,lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt,lora 的强度越高,画面越稳定,但需在合理范围。 在 100 基础训练大模型的 Lora 生图中,模型上的数字代表模型强度,可在 0.61.0 之间调节,默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词,可选择基于提示词一次性生成几张图,选择生成图片的尺寸(横板、竖版、正方形)。采样器和调度器新手小白可默认,迭代步数可在 2030 之间调整,CFG 可在 3.57.5 之间调整,随机种子1 代表随机生成图。所有设置完成后,点击开始生成,生成的图会显示在右侧。若某次生成结果不错,想要微调或高分辨率修复,可点开图,下滑复制随机种子,粘贴到随机种子处,下次生成的图会与此次结果近似。若确认合适的种子和参数,想要高清放大,点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 2030 之间,重回幅度在 0.30.7 之间调整。
2025-03-22
lora微调
LoRA 微调相关内容如下: 微调脚本: LoRA 微调脚本见:,单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见:。 加载微调模型: 基于 LoRA 微调的模型参数见:基于 Llama2 的中文微调模型,LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。 此外,在 Comfyui AnimateDiff 项目中,有一个关键的 lora 对图像模型进行了微调,lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt,lora 的强度越高,画面越稳定,但需在合理范围。 在 100 基础训练大模型的 Lora 生图中,模型上的数字代表模型强度,可在 0.61.0 之间调节,默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词,可选择基于提示词一次性生成几张图,选择生成图片的尺寸(横板、竖版、正方形)。采样器和调度器新手小白可默认,迭代步数可在 2030 之间调整,CFG 可在 3.57.5 之间调整,随机种子1 代表随机生成图。所有设置完成后,点击开始生成,生成的图会显示在右侧。若某次生成结果不错,想要微调或高分辨率修复,可点开图,下滑复制随机种子,粘贴到随机种子处,下次生成的图会与此次结果近似。若确认合适的种子和参数,想要高清放大,点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 2030 之间,重回幅度在 0.30.7 之间调整。
2025-03-22
lora微调
LoRA 微调相关内容如下: 微调脚本: LoRA 微调脚本见:,单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见:。 加载微调模型: 基于 LoRA 微调的模型参数见:基于 Llama2 的中文微调模型,LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。 此外,在 Comfyui AnimateDiff 项目中,有一个关键的 lora 对图像模型进行了微调,lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt,lora 的强度越高,画面越稳定,但需在合理范围。 在 100 基础训练大模型的 Lora 生图中,模型上的数字代表模型强度,可在 0.61.0 之间调节,默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词,可选择基于提示词一次性生成几张图,选择生成图片的尺寸(横板、竖版、正方形)。采样器和调度器新手小白可默认,迭代步数可在 2030 之间调整,CFG 可在 3.57.5 之间调整,随机种子1 代表随机生成图。所有设置完成后,点击开始生成,生成的图会显示在右侧。若某次生成结果不错,想要微调或高分辨率修复,可点开图,下滑复制随机种子,粘贴到随机种子处,下次生成的图会与此次结果近似。若确认合适的种子和参数,想要高清放大,点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 2030 之间,重回幅度在 0.30.7 之间调整。
2025-03-22
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置随意,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程,完成后提示是否下载 hunyuan 模型,选择 n 不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,选择上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数。若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择 Lora 和调节参数。
2025-03-15
lora模型
LoRA 模型相关信息如下: Fooocus 程序默认用到了 3 个 SDXL 的模型,包括一个 base、一个 Refiner 和一个 LoRA。LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras 。如果单独安装,需要下载三个模型: SDXL 基础模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型:https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包,也可共用模型(大模型和 LoRA),可在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中修改路径为秋叶包模型对应的路径,配置好后点击 run.bat 文件启动。 Lora 全称 LowRank Adaptation Models,中文翻译为低阶自适应模型,作用在于影响和微调画面,通过它可以再现人物或物品的特征。大模型训练复杂且对电脑配置要求高,LoRA 采用在原模型中插入新的数据处理层的方式,避免修改原有模型参数,训练轻量化,显存达到 6G 即可开启训练。 有利用新版 SDXL 生成的 lora 如针线娃娃,需要使用 SDXL1.0 的模型才可以运行,触发词是 BJ_Sewing_doll。想体验可添加公众号【白马与少年】,回复【SDXL】。
2025-03-09
大模型的系统提示词
大模型的系统提示词主要包括以下方面: 1. 在“五津:一键生成‘摸鱼打工猫’视频”中,针对用户选择的主题和回答,总结用户的创作意图,如“打工猫摸鱼的 2 小时,在巴厘岛能看一场日落”,并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词,以数组形式输出到“tishici”,将用户意图输出到“biaoti”。 2. 在“云中江树:智能对决:提示词攻防中的 AI 安全博弈”中,系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意;模型侧对于有能力的厂商应增强安全性并平衡性能,开发者则要在开发中带着安全意识优化系统提示词,加入安全引导和禁止内容等;输出侧可使用传统防御和内容过滤手段,并针对大模型特点进行私有数据泄露等检查。此外,还提到间接注入和提示词泄露的情况,间接注入常发生在应用获取依赖外部数据资源时,攻击者通过隐藏恶意指令完成攻击;提示词泄露指试图操纵模型输出获取部分或全部系统提示词,大模型输出内容可分为系统提示词、用户提示和助手提示词三段,通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash,这3个视觉理解大模型哪个最厉害?
以下是对通义千问 Qwen2.5VL 模型的介绍: 版本:有 3B、7B 和 72B 三个尺寸版本。 主要优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 然而,对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型,目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容,因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看,其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面,较为突出的有 DeepSeek 的 JanusPro 模型,它将图像理解和生成统一在一个模型中;还有通义千问的视觉理解模型,其价格有较大降幅。此外,Pixverse V3.5 是全球最快的 AI 视频生成模型,在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型,因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点: 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验,具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接,产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务,适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景,如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点: 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情,全靠用户脑补,导致用户上头期短,疲劳度高,长期留存低。 3. 无法回答私有领域问题(如公司制度、人员信息等)。 4. 无法及时获取最新信息(如实时天气、比赛结果等)。 5. 无法准确回答专业问题(如复杂数学计算、图像生成等)。
2025-04-14
这个网站的作用是什么?是通过这个网站更好的使用训练AI吗?
WaytoAGI 网站具有以下功能: 1. 和 AI 知识库对话:您可以在此询问任何关于 AI 的问题。 2. AI 网站:集合了精选的 AI 网站,可按需求找到适合您的工具。 3. AI 提示词:集合了精选的提示词,能复制到 AI 对话网站使用。 4. 知识库精选:将每天知识库的精华内容呈现给大家。 总之,WaytoAGI 网站和 WaytoAGI 知识库相互独立又有关联,希望成为您学习 AI 路上的好助手。
2025-04-13
想自学ai训练师 推荐哪个视频去学习
以下是为您推荐的自学 AI 训练师的视频: 1. 3 月 26 日|自由讨论|离谱视频切磋大会 猫先生介绍自己的背景和擅长领域 AI 学习与实践的重要性 AI 交流会:分享项目经验和技能 讨论比赛规则和资源分配 AI 工具学习与合作 广州 AI 训练师叶轻衣分享使用 AI 工具的经验和想法 组队提升工作效率 AI 技术在 3D 动画制作中的应用与优势 链接:https://waytoagi.feishu.cn/minutes/obcnc915891t51l64uyonvp2?t=0 2. AI 大神 Karpathy 再发 LLM 入门介绍视频 神经网络训练的目标:训练神经网络的目标是让模型学习 token 在序列中彼此跟随的统计关系,即预测给定上下文(token 序列)后,下一个最有可能出现的 token。 Token 窗口:训练时,模型从数据集中随机抽取固定长度的 token 窗口(例如 8000 个 token)作为输入。 神经网络的输入与输出:输入为 Token 序列(上下文),输出为预测下一个 token 的概率分布,词汇表中每个 token 都有一个概率值。 随机初始化与迭代更新:神经网络初始参数是随机的,预测也是随机的。训练过程通过迭代更新参数,调整预测结果,使其与训练数据中的统计模式相匹配。 损失函数与优化:训练过程使用损失函数来衡量模型预测与真实 token 的差距。优化算法(如梯度下降)用于调整参数,最小化损失函数,提高预测准确率。 神经网络内部结构:Transformer 包含注意力机制和多层感知器等组件,能够有效地处理序列数据并捕捉 token 之间的复杂关系。 链接:无
2025-04-12
想自学ai训练师
如果您想自学成为 AI 训练师,以下是一些相关的知识和建议: 一、AI 训练的基本概念 训练是指通过大数据训练出一个复杂的神经网络模型。这需要使用大量标记过的数据来训练相应的系统,使其能够适应特定的功能。训练过程需要较高的计算性能,能够处理海量的数据,并具有一定的通用性,以便完成各种各样的学习任务。 二、相关领域的知识 1. 机器学习:机器学习是人工智能的一个分支,是实现人工智能的途径之一,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。 2. 自然语言处理:自然语言(NLP)认知和理解是让电脑把输入的语言变成有意思的符号和关系,然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言,是人工智能和语言学领域的分支学科。 三、学习资源和实践 您可以参考以下的一些资源和实践方式: 1. 参加相关的线上交流会,例如 3 月 26 日的自由讨论活动,其中会分享项目经验、技能以及使用 AI 工具的经验和想法。 2. 了解一些健身的 AI 产品,如 Keep(https://keep.com/)、Fiture(https://www.fiture.com/)、Fitness AI(https://www.fitnessai.com/)、Planfit(https://planfit.ai/)等,虽然这些主要是健身领域的应用,但也能帮助您了解 AI 在不同场景中的应用和创新。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-04-12
怎么用把AI训练成自己的东西?
要将 AI 训练成自己的东西,可以参考以下方法: 1. 像马斯克提到的,对于公开的推文数据可以合理使用,但不能使用私人的东西进行训练。同时,要注重数据的质量和使用方式,高质量的数据对于训练效果至关重要。 2. 张梦飞的方法中,例如部署 LLama Factory 时,需要添加选中“identity”数据集,将训练轮数改成 15 等,并通过一系列操作进行训练和测试。但需要注意的是,训练大模型是复杂的过程,数据集和训练参数都会影响最终效果,需要反复调试和深入学习实践。 3. 在写作方面,我们可以根据自身需求选择人类驱动为主,利用 AI 进行修改完善,或者先由 AI 生成内容再进行修改以符合自己的风格。
2025-04-11
如何训练一个AI 阅读教练
训练一个 AI 可以类比为培养一位职场新人,主要包括以下三个阶段: 1. 规划阶段:明确目标 确定 AI 的具体任务,比如结构化外文精读等。 将任务拆解为可管理的子任务。 设计每个子任务的执行方法。 2. 实施阶段:实战指导 搭建工作流程。 为每个子任务设置清晰的操作指南。 像指导新员工一样,手把手引导 AI 完成任务,并及时验证其输出质量。 3. 优化阶段:持续改进 通过反复测试和调整,不断优化 AI 的性能。 调整工作流程和 Prompt 配置,直到 AI 能稳定输出高质量的结果。 当前大模型在处理多步骤复杂任务时存在明显局限,比如在“数据分析图表、剧情游戏”或“本文结构化外文精读”等任务中,仅依靠单一 Prompt 指令难以稳定执行,现阶段的 AI 更像缺乏独立解决问题能力的职场新人,需要遵循指引和给定的流程才能完成特定任务。如果您已经完全了解上述内容,不妨自己设定一个任务目标,动手构建一个专属于自己的 AI 。
2025-04-11
模型训练的基本名词和方法
以下是关于模型训练的基本名词和方法的介绍: 基本名词: 1. 过拟合&欠拟合:过拟合和欠拟合都是不好的现象,需要加以控制以让模型达到理想效果。解决方法包括调整训练集、正则化和训练参数等,过拟合可减少训练集素材量,欠拟合则增加训练集素材量。 2. 泛化性:泛化性不好的模型难以适应其他风格和多样的创作。可通过跑 lora 模型生图测试判断泛化性,解决办法与过拟合和欠拟合类似,从训练集、正则化、训练参数等方面调整。 3. 正则化:是解决过拟合和欠拟合情况、提高泛化性的手段,给模型加规则和约束,限制优化参数,有效防止过拟合,提高模型适应不同情况的表现和泛化性。 方法: 1. 全面充分采集训练素材:例如在角色训练素材中,应包含各种角度、表情、光线等情况的素材,确保模型具有较好泛化性。 2. 图像预处理:对训练素材进行分辨率调整、裁切操作,并对训练集进行打标签处理。 3. 参数调优:尽量将训练时长控制在半小时左右,过长易导致过拟合,通过调整参数控制时长。 4. 观察学习曲线:通过观察学习曲线来调整训练素材和参数。 5. 过拟合&欠拟合处理:测试训练好的模型,观察过拟合和欠拟合问题,进一步通过调整训练素材和正则化等手段优化。 此外,在模型训练中还需注意: 1. 数据集获取渠道:可通过网上收集、购买、使用无版权问题的如古画等,原则是根据生成图的需求找对应数据集,要清晰、主体元素干净、风格统一。 2. 数据集处理:包括基础处理如裁剪保证清晰和分辨率,更重要的是写标注。 3. 设置模型触发词:可自定义,完整形式可以是一句话,建议以王 flags 模型为主。 4. 统一标注风格与应用场景:例如未来高科技 3D 天然风格,用于互联网首页图像等,并概括主题内容、描述物体特征等。 5. 利用 GPT 辅助描述并人工审核:让 GPT 按要求描述,人工审核修改。 6. 模型训练的准备与流程:完成数据集描述后进入训练流程,选择模型训练分类和数据集,创建并上传数据集压缩包,注意数据名与图片命名一致。选择训练模式和参数,新手选用普通基础模式,训练集质量重要,训练参数中总步数与训练集图片数量相关,触发词设定要避免概念混乱。
2025-04-09
python数据分析
以下是关于 Python 数据分析的相关内容: BORE 框架与数据分析: 自动驾驶产品经理的工作中会涉及大量数据分析,数据分析是一门独立完整的学科,包括数据清洗、预处理等。从工具和规模上,写 Excel 公式、用 Hadoop 写 Spark 算大数据等都属于数据分析;从方法上,算平均数、用机器学习方法做回归分类等也属于数据分析。 用 ChatGPT 做数据分析的工具: 1. Excel:是最熟悉和简单的工具,写公式、Excel 宏等都属于进阶用法,能满足产品的大部分需求。ChatGPT 可轻松写出可用的 Excel 宏。 2. Python:有很多强大的数据分析库,如 pandas、numpy 用于数据分析,seaborn、plotly、matplotlib 用于画图,产品日常工作学点 pandas 和绘图库就够用。一般数据分析的代码可用 Jupyter Notebook 运行,用 Anaconda 管理安装的各种包。 3. R 语言:专门用于搞统计,但 Python 通常已够用。 实践:用 Kaggle 的天气数据集绘制气温趋势折线图与月降雨天数柱状组合图: 1. 项目要求:绘制气温趋势折线图+月降雨天数柱状组合图,即双 y 轴的图形。 2. 打开数据集,分析数据:发现关键表头与数据可视化目的的关联。 3. 新建 Python 文件,开始编程:包括调用库、读取数据、数据处理、创建图表、添加标题与图例、保存并显示图形等步骤。 4. 试运行与 Debug:发现左纵坐标数据有误,重新分析数据集并修改代码,最终实现可视化目的。 关于 ChatGPT 的预设 prompt: 在特定的设置下,当发送包含 Python 代码的消息给 Python 时,它将在有状态的 Jupyter 笔记本环境中执行,有 60 秒的超时限制,'/mnt/data'驱动器可用于保存和持久化用户文件,本次会话禁用互联网访问,不能进行外部网络请求或 API 调用。
2025-04-14
数据集去哪下载
以下是一些数据集的下载途径: 对于微调 Llama3 的数据集,获取及原理可参考文档:。 鸢尾花数据集下载请点击链接:https://scikitlearn.org/stable/modules/generated/sklearn.datasets.load_iris.html 。 天气数据集下载请点击链接:https://www.kaggle.com/datasets/muthuj7/weatherdataset 。建议创建一个文件夹,将下载下来的数据集放入文件夹中。
2025-04-14
基于多维评价数据,使用大模型生成个性化的家庭教育方案的可靠性高吗?
基于多维评价数据使用大模型生成个性化的家庭教育方案具有一定的可靠性,但也存在一些限制。 一方面,大模型在教育领域展现出了强大的能力。例如,能够为教师提供源源不断的真题库和错题练习库,模仿各类考试题型有模有样。在作文批改评分方面,如 GLM 模型,具备好词好句识别评测、作文综合评价评分等功能,能够综合考虑文章的多个维度给出评价,提供个性化反馈,保证评分的一致性等。 另一方面,也存在一些挑战。对于高学段理科等复杂领域,大模型的表现可能有限。在解读学生作文中的深层次含义,如隐喻、双关等修辞技巧,以及涉及特定文化背景和历史知识的内容时,仍存在一定难度。 然而,只要提示词到位、示例清晰,大模型在生成个性化家庭教育方案方面具有很大的潜力,可以为家长和孩子提供有价值的参考和帮助。但不能完全依赖大模型,还需要结合人工的判断和调整。
2025-04-13
如何利用 AI 赋能【数据分析在企业自媒体营销中的应用综述(以抖音、小红书平台为例)】
利用 AI 赋能【数据分析在企业自媒体营销中的应用综述(以抖音、小红书平台为例)】可以参考以下方法: 1. 市场分析:利用 AI 分析工具研究市场趋势、消费者行为和竞争对手情况,处理大量数据以快速识别关键信息,如受欢迎的产品、价格区间和销量等。 2. 关键词优化:借助 AI 分析和推荐高流量、高转化的关键词,优化产品标题和描述,提高搜索排名和可见度。 3. 产品页面设计:使用 AI 设计工具根据市场趋势和用户偏好自动生成吸引人的产品页面布局。 4. 内容生成:利用 AI 文案工具撰写有说服力的产品描述和营销文案,提高转化率。 5. 图像识别和优化:通过 AI 图像识别技术选择或生成高质量的产品图片,更好地展示产品特点。 6. 价格策略:依靠 AI 分析不同价格点对销量的影响,制定有竞争力的价格策略。 7. 客户反馈分析:利用 AI 分析客户评价和反馈,了解客户需求,优化产品和服务。 8. 个性化推荐:借助 AI 根据用户的购买历史和偏好提供个性化的产品推荐,增加销售额。 9. 聊天机器人:采用 AI 驱动的聊天机器人提供 24/7 的客户服务,解答疑问,提高客户满意度。 10. 营销活动分析:使用 AI 分析不同营销活动的效果,了解哪些活动更能吸引顾客并产生销售。 11. 库存管理:依靠 AI 预测需求,优化库存管理,减少积压和缺货情况。 12. 支付和交易优化:利用 AI 分析不同支付方式对交易成功率的影响,优化支付流程。 13. 社交媒体营销:借助 AI 在社交媒体上找到目标客户群体,通过精准营销提高品牌知名度。 14. 直播和视频营销:利用 AI 分析观众行为,优化直播和视频内容,提高观众参与度和转化率。 此外,还可以参考以下具体案例: 赛博发型师:基于 AI 技术为用户提供个性化的发型设计服务,通过分析用户面部特征、个人风格和偏好,自动生成发型设计方案,用户可上传照片,系统分析后生成详细报告和效果图,报告可存档至飞书文档供专业发型师复核评估。 营销文案创作专家深度版:专为企业营销团队等设计,提供从文案框架创作到生成的一站式服务,通过分析产品信息等挖掘痛点和卖点,生成营销文案,并提供营销数据分析服务以优化策略和提高协作效率。 抖音商家客服(C 端用户)/抖音带货知识库工具(B 端商家):作为 AI 客服系统建设助手,帮助企业实现一站式 AI 客服解决方案。 在实际操作中,还可以参考以下经验: 飞书、多维表格、扣子相关应用优化及自媒体账号分析演示分享:包括直播课程相关内容,优化社区文档问题,介绍技术栈选择,强调扣子、多维表格及 AI 字段捷径结合做数据分析的优势,现场演示账号分析效果,展示同步数据的自动化流程。 高效数据分析应用搭建实操讲解:先介绍数据在多维表格执行无二次请求的优势,接着进行技术实操,从新建“数据 AI 高效数据分析”应用开始,讲解抓数据、同步数据前设置变量等步骤,包括搭建界面、做工作流、保存变量等操作,可在市场选插件。 高雁讲解数据处理及多维表格操作过程:进行操作演示与讲解,包括将用户信息发送到多维表格、调整界面显示、处理按钮点击事件等操作,还讲解了批处理、代码节点等内容。
2025-04-13
现在做数据分析比较厉害的ai是什么
目前在数据分析方面表现较为出色的 AI 工具包括智谱清言、Open Interpreter 等。 AI 在数据分析中具有以下优势: 1. 降低入门门槛:过去学习数据分析需要掌握编程语言和专业知识,现在通过 AI 工具,门槛大大降低。 2. 规范的分析流程:对于初学者来说,AI 直接做的数据分析比他们自己第一次做的更好,其规范化流程更严谨,结果更可靠。 3. 自动化处理:会自动进行模型选择以匹配数据,还能根据 log 检查错误并改正源代码。 4. 减少重复性工作:重复性劳动可先交给 AI 做,人类用户只需做验证和检查结果。 实际应用的工具方面,GPT4 可以帮助建立和评估机器学习模型,Claude 等大语言模型可以进行数据分析和可视化,Open Interpreter 等工具可以辅助编程和数据处理。 使用时的建议包括:对 AI 结果要进行严格验证,不要完全依赖 AI,要保持独立思考,对 AI 的能力边界有清晰认识,合理使用以提高工作效率。同时,AI 应被视为辅助工具而非完全替代品,人类在整个过程中仍起主导作用和具有判断力。
2025-04-11
用AI做数据分析
以下是关于用 AI 做数据分析的相关内容: 流程: 逻辑流程图如下:上面说的两种方式对应流程图的上下两个步骤,红色部分是重点。 1. SQL 分析:用户描述想分析的内容,后台连接 DB,附带表结构信息让 AI 输出 SQL 语句,校验是 SELECT 类型的 SQL,其他操作如 UPDATE/DELETE 绝不能通过!!校验通过后执行 SQL 返回结果数据。再将数据传给 GPT(附带上下文),让 AI 学习并分析数据,最后输出分析结论和建议,和结果数据一起返回给前端页面渲染图表、展示分析结论。目前已实现两张表关联查询。 2. 个性化分析:用户上传文件,如有需要可以简单描述这是什么数据、字段意义或作用辅助分析。前端解析用户上传的文件,再传给 GPT 分析数据,后续步骤与上面一致。 工具和成功案例: 大概思路是这样: 1. 提供大模型可以访问的数据源或者上传数据表格。 2. 通过提示词说清楚需要以哪些维度分析数据,分析完成的结果要以什么格式输出。 3. 观察生成结果,迭代和优化提示词,最终满意后导出结果。 相关问题和技巧: 1. 关于“大模型幻觉”,目前没有办法消除,这本身就是大模型特性。可以通过其他第三方信息源和知识来检验生成是不是在胡说八道。 2. 结构化思维提高对话能力,在 AGI 搜索结构化三个字,有相关文章。上下文 token 长度如果指的是大模型的记忆窗口的话,没法延长,是设定好的。 案例分析: 以“用 ai 做数据分析,和爆款卖点分析”为例,这一创意将 AI 技术与商业洞察深度融合,展现了数据驱动决策的前瞻性。通过 AI 对海量用户行为、评论、竞品数据的挖掘,不仅能快速定位爆款产品的共性特征(如高频关键词、用户情感倾向),还能发现传统方法难以捕捉的潜在需求(例如隐藏的消费场景或未被满足的功能痛点)。尤其是结合时序分析预测市场趋势,为企业提供了动态调整产品策略的敏捷性,真正实现了从“经验决策”到“智能决策”的跨越。若想进一步突破,可考虑以下优化方向: 1. 多模态数据融合:除文本数据外,整合图片/视频的视觉分析(如通过 CV 技术识别爆款产品的外观设计共性),或结合语音数据(如直播带货中的实时用户反馈),构建更立体的卖点模型。 2. 因果推理增强:当前 AI 多聚焦相关性分析,可引入因果发现算法(如 DoWhy 框架),区分“真实卖点”与“伴随现象”。例如某款手机壳销量高是因为颜色,还是因与热门手机型号捆绑销售? 3. 个性化适配引擎:根据企业自身资源禀赋(供应链能力、品牌定位)对 AI 建议进行权重优化。例如小型厂商可优先推荐“低改造成本的高需求卖点”,避免直接对标头部品牌的资源密集型方案。 4. 对抗性验证机制:构建虚拟消费者模拟环境,对 AI 提出的卖点进行 A/B 压力测试,提前评估市场风险,避免出现“数据过拟合导致的伪创新”。
2025-04-11