Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

数据集

Answer

以下是关于数据集的相关信息：

在厚德云创建数据集 步骤一：

  1. 进入厚德云-模型训练-数据集，点击右上角创建数据集。
  2. 输入数据集名称。
  3. 可以上传包含图片+标签txt 的 zip 文件，也可以只有图片没有打标文件（之后可在 C 站使用自动打标功能），或者一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。
  4. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。
  5. 上传 zip 以后等待一段时间，确认创建数据集。
  6. 返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，能预览到数据集的图片以及对应的标签。

步骤二：Lora 训练

  1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。
  2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。
  3. 触发词可有可无，取决于数据集是否有触发词。
  4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
  5. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。
  6. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。
  7. 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。

OpenAI 发表新论文中的数据集 OpenAI 发表新论文《让我们一步一步验证》中提到的数据集：使用的数据集表明过程监控(PRM)是高度准确的。PRM800K 训练集包含 800,000 个步骤级标签，可用于 12,000 个问题的 75,000 个答案。点击此处查看 PRM 和 ORM 实际数学精度的比较。在这两个结果中，可以看出使用 PRM 的模型给出了更好的结果。据报道，PRM 不仅在数学方面取得了更好的成绩，而且在化学和物理方面也取得了更好的成绩。

中文数据集

  1. CCKS2017 中文电子病例命名实体识别，更新日期 42856，提供者为北京极目云健康科技有限公司，数据来源于其云医院平台的真实电子病历数据，共计 800 条（单个病人单次就诊记录），经脱敏处理，类别为电子病历，关键字为命名实体识别，论文地址无，备注为中文。
  2. CCKS2018 中文电子病例命名实体识别，更新日期 2018 年，提供者为医渡云（北京）技术有限公司，CCKS2018 的电子病历命名实体识别的评测任务提供了 600 份标注好的电子病历文本，共需识别含解剖部位、独立症状、症状描述、手术和药物五类实体，类别为电子病历，关键字为命名实体识别，论文地址无，备注为中文。
  3. 微软亚研院 MSRA 命名实体识别识别数据集，提供者为 MSRA，标注形式为 BIO，共有 46365 条语料，类别为 Msra，关键字为命名实体识别，论文地址无，备注为中文。
  4. 1998 人民日报语料集实体识别标注集，提供者为人民日报，标注形式为 BIO，共有 23061 条语料，类别为 98 人民日报，关键字为命名实体识别，论文地址无，备注为中文。
  5. Boson，提供者为玻森数据，标注形式为 BMEO，共有 2000 条语料，类别为 Boson，关键字为命名实体识别，论文地址无，备注为中文。
Content generated by AI large model, please carefully verify (powered by aily)

References

10-0基础训练大模型

进入厚德云-模型训练-数据集https://portal.houdeyun.cn/sd/dataset[heading2]步骤一·创建数据集[content]在数据集一栏中，点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件（之后你可以在c站使用它的自动打标功能）你也可以一张一张单独上传照片，但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二·Lora训练[content]点击Flux，基础模型会默认是FLUX 1.0D版本选择数据集，点击右侧箭头，会跳出你所有上传过的数据集触发词可有可无，取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数如果不知道如何设置，可以默认20重复次数和10轮训练轮数可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力然后就可以等待训练了，会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

数学：OpenAI 发表论文大幅提高 ChatGPT 的数学准确性 | 让我们一步步验证

使用该数据集，我们表明过程监控(PRM)是高度准确的。比较的方法是结果监督奖励模型（ORM）：“结果监控”和过程监督奖励模型（PRM）：“过程监控”。PRM800K训练集包含800,000个步骤级标签，可用于12,000个问题的75,000个答案。点击此处查看PRM和ORM实际数学精度的比较在这两个结果中，可以看出使用PRM的模型给出了更好的结果。据报道，PRM不仅在数学方面取得了更好的成绩，而且在化学和物理方面也取得了更好的成绩。

中文数据集

NER|ID|标题|更新日期|数据集提供者|许可|说明|关键字|类别|论文地址|备注||-|-|-|-|-|-|-|-|-|-||1|[CCKS2017中文电子病例命名实体识别](https://biendata.com/competition/CCKS2017_2/data/)|42856|北京极目云健康科技有限公司||数据来源于其云医院平台的真实电子病历数据，共计800条（单个病人单次就诊记录），经脱敏处理|电子病历|命名实体识别|\|中文||2|[CCKS2018中文电子病例命名实体识别](https://biendata.com/competition/CCKS2018_1/data/)|2018年|医渡云（北京）技术有限公司||CCKS2018的电子病历命名实体识别的评测任务提供了600份标注好的电子病历文本，共需识别含解剖部位、独立症状、症状描述、手术和药物五类实体|电子病历|命名实体识别|\|中文||3|[微软亚研院MSRA命名实体识别识别数据集](https://github.com/lemonhu/NER-BERT-pytorch/tree/master/data/msra)|\|MSRA||数据来源于MSRA，标注形式为BIO，共有46365条语料|Msra|命名实体识别|\|中文||4|[1998人民日报语料集实体识别标注集](https://github.com/ThunderingII/nlp_ner/tree/master/data)|35796|人民日报||数据来源为98年人民日报，标注形式为BIO，共有23061条语料|98人民日报|命名实体识别|\|中文||5|[Boson](https://github.com/TomatoTang/BILSTM-CRF)|\|玻森数据||数据来源为Boson，标注形式为BMEO,共有2000条语料|Boson|命名实体识别|\|中文|

Others are asking
python数据分析
以下是关于 Python 数据分析的相关内容： BORE 框架与数据分析： 自动驾驶产品经理的工作中会涉及大量数据分析，数据分析是一门独立完整的学科，包括数据清洗、预处理等。从工具和规模上，写 Excel 公式、用 Hadoop 写 Spark 算大数据等都属于数据分析；从方法上，算平均数、用机器学习方法做回归分类等也属于数据分析。 用 ChatGPT 做数据分析的工具： 1. Excel：是最熟悉和简单的工具，写公式、Excel 宏等都属于进阶用法，能满足产品的大部分需求。ChatGPT 可轻松写出可用的 Excel 宏。 2. Python：有很多强大的数据分析库，如 pandas、numpy 用于数据分析，seaborn、plotly、matplotlib 用于画图，产品日常工作学点 pandas 和绘图库就够用。一般数据分析的代码可用 Jupyter Notebook 运行，用 Anaconda 管理安装的各种包。 3. R 语言：专门用于搞统计，但 Python 通常已够用。 实践：用 Kaggle 的天气数据集绘制气温趋势折线图与月降雨天数柱状组合图： 1. 项目要求：绘制气温趋势折线图+月降雨天数柱状组合图，即双 y 轴的图形。 2. 打开数据集，分析数据：发现关键表头与数据可视化目的的关联。 3. 新建 Python 文件，开始编程：包括调用库、读取数据、数据处理、创建图表、添加标题与图例、保存并显示图形等步骤。 4. 试运行与 Debug：发现左纵坐标数据有误，重新分析数据集并修改代码，最终实现可视化目的。 关于 ChatGPT 的预设 prompt： 在特定的设置下，当发送包含 Python 代码的消息给 Python 时，它将在有状态的 Jupyter 笔记本环境中执行，有 60 秒的超时限制，'/mnt/data'驱动器可用于保存和持久化用户文件，本次会话禁用互联网访问，不能进行外部网络请求或 API 调用。
2025-04-14
数据集去哪下载
以下是一些数据集的下载途径： 对于微调 Llama3 的数据集，获取及原理可参考文档：。 鸢尾花数据集下载请点击链接：https://scikitlearn.org/stable/modules/generated/sklearn.datasets.load_iris.html 。 天气数据集下载请点击链接：https://www.kaggle.com/datasets/muthuj7/weatherdataset 。建议创建一个文件夹，将下载下来的数据集放入文件夹中。
2025-04-14
基于多维评价数据，使用大模型生成个性化的家庭教育方案的可靠性高吗？
基于多维评价数据使用大模型生成个性化的家庭教育方案具有一定的可靠性，但也存在一些限制。 一方面，大模型在教育领域展现出了强大的能力。例如，能够为教师提供源源不断的真题库和错题练习库，模仿各类考试题型有模有样。在作文批改评分方面，如 GLM 模型，具备好词好句识别评测、作文综合评价评分等功能，能够综合考虑文章的多个维度给出评价，提供个性化反馈，保证评分的一致性等。 另一方面，也存在一些挑战。对于高学段理科等复杂领域，大模型的表现可能有限。在解读学生作文中的深层次含义，如隐喻、双关等修辞技巧，以及涉及特定文化背景和历史知识的内容时，仍存在一定难度。 然而，只要提示词到位、示例清晰，大模型在生成个性化家庭教育方案方面具有很大的潜力，可以为家长和孩子提供有价值的参考和帮助。但不能完全依赖大模型，还需要结合人工的判断和调整。
2025-04-13
如何利用 AI 赋能【数据分析在企业自媒体营销中的应用综述（以抖音、小红书平台为例）】
利用 AI 赋能【数据分析在企业自媒体营销中的应用综述（以抖音、小红书平台为例）】可以参考以下方法： 1. 市场分析：利用 AI 分析工具研究市场趋势、消费者行为和竞争对手情况，处理大量数据以快速识别关键信息，如受欢迎的产品、价格区间和销量等。 2. 关键词优化：借助 AI 分析和推荐高流量、高转化的关键词，优化产品标题和描述，提高搜索排名和可见度。 3. 产品页面设计：使用 AI 设计工具根据市场趋势和用户偏好自动生成吸引人的产品页面布局。 4. 内容生成：利用 AI 文案工具撰写有说服力的产品描述和营销文案，提高转化率。 5. 图像识别和优化：通过 AI 图像识别技术选择或生成高质量的产品图片，更好地展示产品特点。 6. 价格策略：依靠 AI 分析不同价格点对销量的影响，制定有竞争力的价格策略。 7. 客户反馈分析：利用 AI 分析客户评价和反馈，了解客户需求，优化产品和服务。 8. 个性化推荐：借助 AI 根据用户的购买历史和偏好提供个性化的产品推荐，增加销售额。 9. 聊天机器人：采用 AI 驱动的聊天机器人提供 24/7 的客户服务，解答疑问，提高客户满意度。 10. 营销活动分析：使用 AI 分析不同营销活动的效果，了解哪些活动更能吸引顾客并产生销售。 11. 库存管理：依靠 AI 预测需求，优化库存管理，减少积压和缺货情况。 12. 支付和交易优化：利用 AI 分析不同支付方式对交易成功率的影响，优化支付流程。 13. 社交媒体营销：借助 AI 在社交媒体上找到目标客户群体，通过精准营销提高品牌知名度。 14. 直播和视频营销：利用 AI 分析观众行为，优化直播和视频内容，提高观众参与度和转化率。 此外，还可以参考以下具体案例： 赛博发型师：基于 AI 技术为用户提供个性化的发型设计服务，通过分析用户面部特征、个人风格和偏好，自动生成发型设计方案，用户可上传照片，系统分析后生成详细报告和效果图，报告可存档至飞书文档供专业发型师复核评估。 营销文案创作专家深度版：专为企业营销团队等设计，提供从文案框架创作到生成的一站式服务，通过分析产品信息等挖掘痛点和卖点，生成营销文案，并提供营销数据分析服务以优化策略和提高协作效率。 抖音商家客服（C 端用户）/抖音带货知识库工具（B 端商家）：作为 AI 客服系统建设助手，帮助企业实现一站式 AI 客服解决方案。 在实际操作中，还可以参考以下经验： 飞书、多维表格、扣子相关应用优化及自媒体账号分析演示分享：包括直播课程相关内容，优化社区文档问题，介绍技术栈选择，强调扣子、多维表格及 AI 字段捷径结合做数据分析的优势，现场演示账号分析效果，展示同步数据的自动化流程。 高效数据分析应用搭建实操讲解：先介绍数据在多维表格执行无二次请求的优势，接着进行技术实操，从新建“数据 AI 高效数据分析”应用开始，讲解抓数据、同步数据前设置变量等步骤，包括搭建界面、做工作流、保存变量等操作，可在市场选插件。 高雁讲解数据处理及多维表格操作过程：进行操作演示与讲解，包括将用户信息发送到多维表格、调整界面显示、处理按钮点击事件等操作，还讲解了批处理、代码节点等内容。
2025-04-13
现在做数据分析比较厉害的ai是什么
目前在数据分析方面表现较为出色的 AI 工具包括智谱清言、Open Interpreter 等。 AI 在数据分析中具有以下优势： 1. 降低入门门槛：过去学习数据分析需要掌握编程语言和专业知识，现在通过 AI 工具，门槛大大降低。 2. 规范的分析流程：对于初学者来说，AI 直接做的数据分析比他们自己第一次做的更好，其规范化流程更严谨，结果更可靠。 3. 自动化处理：会自动进行模型选择以匹配数据，还能根据 log 检查错误并改正源代码。 4. 减少重复性工作：重复性劳动可先交给 AI 做，人类用户只需做验证和检查结果。 实际应用的工具方面，GPT4 可以帮助建立和评估机器学习模型，Claude 等大语言模型可以进行数据分析和可视化，Open Interpreter 等工具可以辅助编程和数据处理。 使用时的建议包括：对 AI 结果要进行严格验证，不要完全依赖 AI，要保持独立思考，对 AI 的能力边界有清晰认识，合理使用以提高工作效率。同时，AI 应被视为辅助工具而非完全替代品，人类在整个过程中仍起主导作用和具有判断力。
2025-04-11
用AI做数据分析
以下是关于用 AI 做数据分析的相关内容： 流程： 逻辑流程图如下：上面说的两种方式对应流程图的上下两个步骤，红色部分是重点。 1. SQL 分析：用户描述想分析的内容，后台连接 DB，附带表结构信息让 AI 输出 SQL 语句，校验是 SELECT 类型的 SQL，其他操作如 UPDATE/DELETE 绝不能通过！！校验通过后执行 SQL 返回结果数据。再将数据传给 GPT（附带上下文），让 AI 学习并分析数据，最后输出分析结论和建议，和结果数据一起返回给前端页面渲染图表、展示分析结论。目前已实现两张表关联查询。 2. 个性化分析：用户上传文件，如有需要可以简单描述这是什么数据、字段意义或作用辅助分析。前端解析用户上传的文件，再传给 GPT 分析数据，后续步骤与上面一致。 工具和成功案例： 大概思路是这样： 1. 提供大模型可以访问的数据源或者上传数据表格。 2. 通过提示词说清楚需要以哪些维度分析数据，分析完成的结果要以什么格式输出。 3. 观察生成结果，迭代和优化提示词，最终满意后导出结果。 相关问题和技巧： 1. 关于“大模型幻觉”，目前没有办法消除，这本身就是大模型特性。可以通过其他第三方信息源和知识来检验生成是不是在胡说八道。 2. 结构化思维提高对话能力，在 AGI 搜索结构化三个字，有相关文章。上下文 token 长度如果指的是大模型的记忆窗口的话，没法延长，是设定好的。 案例分析： 以“用 ai 做数据分析，和爆款卖点分析”为例，这一创意将 AI 技术与商业洞察深度融合，展现了数据驱动决策的前瞻性。通过 AI 对海量用户行为、评论、竞品数据的挖掘，不仅能快速定位爆款产品的共性特征（如高频关键词、用户情感倾向），还能发现传统方法难以捕捉的潜在需求（例如隐藏的消费场景或未被满足的功能痛点）。尤其是结合时序分析预测市场趋势，为企业提供了动态调整产品策略的敏捷性，真正实现了从“经验决策”到“智能决策”的跨越。若想进一步突破，可考虑以下优化方向： 1. 多模态数据融合：除文本数据外，整合图片/视频的视觉分析（如通过 CV 技术识别爆款产品的外观设计共性），或结合语音数据（如直播带货中的实时用户反馈），构建更立体的卖点模型。 2. 因果推理增强：当前 AI 多聚焦相关性分析，可引入因果发现算法（如 DoWhy 框架），区分“真实卖点”与“伴随现象”。例如某款手机壳销量高是因为颜色，还是因与热门手机型号捆绑销售？ 3. 个性化适配引擎：根据企业自身资源禀赋（供应链能力、品牌定位）对 AI 建议进行权重优化。例如小型厂商可优先推荐“低改造成本的高需求卖点”，避免直接对标头部品牌的资源密集型方案。 4. 对抗性验证机制：构建虚拟消费者模拟环境，对 AI 提出的卖点进行 A/B 压力测试，提前评估市场风险，避免出现“数据过拟合导致的伪创新”。
2025-04-11