Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

支持图文检索的知识库应用是哪些

Answer

以下是一些支持图文检索的知识库应用:

  • FastGPT:这是一个基于大语言模型(LLM)的知识库问答系统,具有以下特点:
    • 采用先进的 LLM 技术,能理解自然语言并生成高质量答案。
    • 可以连接到外部知识库获取更全面信息。
    • 提供可视化工作流编排工具,方便创建复杂问答场景。
    • 提供开箱即用的数据处理和模型调用功能。
    • 应用场景包括客服问答、知识库搜索、文档生成、数据分析等。
  • 阿里云百炼:
    • 多模态支持,可处理图像、音频和视频等多模态数据。
    • 对话性增强,能处理更复杂的多轮问答。
    • 具有自适应检索策略,能根据上下文和任务需求自动决定检索操作。
    • 能够融合外部知识与内部知识生成更精准回答。
    • 模块化 RAG 形式提供更高定制性和灵活性。
    • 当智能体应用关联结构化知识库时,支持在提问时上传图片,若存在图片索引,系统会将输入图片转为向量并检索相关记录。构建图片索引需新建结构化数据表时将图片索引所在列的字段类型设置为 link,创建结构化知识库时对需要建立图片索引的 link 类型字段在下拉列表中选择图片。
Content generated by AI large model, please carefully verify (powered by aily)

References

问:FastGPT是什么

FastGPT是一个基于大语言模型(LLM)的知识库问答系统,它提供开箱即用的数据处理、模型调用等能力。同时可以通过Flow可视化进行工作流编排,从而实现复杂的问答场景!FastGPT的特点:基于LLM的问答:FastGPT采用了先进的LLM技术,可以理解自然语言并生成高质量的答案。知识库支持:FastGPT可以连接到外部知识库,以获取更全面的信息。可视化工作流:FastGPT提供可视化的工作流编排工具,方便用户创建复杂的问答场景。开箱即用:FastGPT提供了开箱即用的数据处理和模型调用功能,方便用户快速上手。FastGPT的应用场景:客服问答:FastGPT可以用于构建智能客服系统,为客户提供7x24小时的自动问答服务。知识库搜索:FastGPT可以用于构建知识库搜索系统,帮助用户快速找到所需的信息。文档生成:FastGPT可以用于自动生成文档,例如新闻稿件、产品说明书等。数据分析:FastGPT可以用于分析文本数据,提取关键信息并生成报告。FastGPT与其他问答系统的比较:|特性|FastGPT|其他问答系统||-|-|-||技术基础|LLM|基于规则、基于检索等||知识库支持|支持|部分支持||工作流编排|可视化|编码||开箱即用|是|否|FastGPT的优势:

DAY2 - 更好用的文本知识库应用跟学,快速上手阿里云百炼

1.多模态支持:与基础RAG主要处理文本不同,高级RAG可以处理多模态数据,比如图像、音频和视频。这使得它在处理多媒体内容时非常有用,比如图文结合的应用或语音识别。2.对话性增强:高级RAG能够处理更复杂的对话,支持多轮问答。这意味着它在像聊天机器人、虚拟助手等应用中,能够更自然、更深入地与用户交流。3.自适应检索策略:高级RAG具有智能的检索机制,可以根据上下文和任务的需求自动决定何时进行检索,何时使用检索到的信息。这样可以提高效率,同时避免不必要的检索操作,提升整体性能。4.知识融合:高级RAG能够更好地将外部知识(比如从文献、网页等处获取的资料)与模型的内部知识结合,从而生成更有价值、更精准的回答。这在一些需要大量领域知识的任务中尤其有用。总体来说,高级RAG不仅扩展了基础RAG的功能,还解决了它在处理复杂任务时的局限,使得它能够在更广泛的应用中表现出色,推动了自然语言处理和人工智能的进一步发展。模块化RAG模块化RAG(检索增强生成)是RAG的另一种进化形式,主要侧重于提供更高的定制性和灵活性。与基础RAG和高级RAG不同,模块化RAG将RAG系统拆分成多个独立的模块或组件,每个组件负责特定的功能,便于根据不同需求进行灵活组合和定制。以下是模块化RAG的关键特点和概念:

DAY2 - 更好用的文本知识库应用跟学,快速上手阿里云百炼

1.访问我的应用,单击已创建应用卡片的管理按钮,进入智能体应用管理界面。单击知识库检索增强按钮Prompt中会自动填入让大模型参考知识库的指令。单击配置知识库,然后从列表中选择电商服饰类数据,其它选项保持默认即可。2.向输入框输入问题:给我推荐一件上衣从右图可以看到,在集成了RAG能力后,智能体应用可以根据上传的知识库文件来回答问题。我想买件女士的牛仔裤您也可以通过将自己企业内部的知识数据放在当前知识库里面。当智能体应用关联结构化知识库时,支持在提问时上传图片。此时,如果知识库中存在图片索引,系统会先将输入图片转为向量并检索到相关记录,然后将这些记录与提问一起提供给大模型;如果不存在图片索引,则输入的图片不会用于检索。智能体应用目前仅支持生成文本内容。拓展:如何构建图片索引?建图片索引需两步:1.新建结构化数据表时,需要将图片索引所在列的字段类型设置为link。注意:新建数据表后,无法再新增或修改字段类型为link。1.创建结构化知识库时,对于需要建立图片索引的link类型字段,在旁边的下拉列表中选择图片。注意:创建知识库后,无法再新建或修改图片索引。

Others are asking
coze搭建智能体,用上传的文件和知识库的文件做对比,分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息: 1. 证件照相关操作: 展示原图上传结果,基本脸型已换,生成效果与上传照片特征有关。 改背景可利用改图功能,一键改图效果更好,输出数据类型为图片。 豆包节点生成的是 URL 地址,与前者不同,在工作流使用有差异,可参考简单提示词。 介绍证件照工作流相关操作,包括通过提示词改背景颜色,设置输出方式为返回变量;讲解消耗 token 及保存结果相关问题;对按钮、表单添加事件并设置参数,限制上传文件数量;还涉及给表单和图片绑定数据,以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开,介绍 for meet 的设置,如表单事件操作、图片上传数量修改等,提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况,分析换性别等问题成因,指出需在工作流优化提示词,也可尝试用视频模型解决,最后进入问答环节。 2. 多维表格的高速数据分析: 创建智能体,使用单 Agent 对话流模式。 编排对话流,创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理,注意代码节点输出的配置格式。 测试,找到一篇小红书笔记,试运行对话流,在对话窗口输入地址查看数据。 发布,选择多维表格,配置输出类型为文本,输入类型选择字段选择器,完善上架信息,可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接: 创建知识库,可选择手动清洗数据提高准确性,包括在线知识库和本地文档。 在线知识库创建时,飞书在线文档中每个问题和答案以分割,可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度,如将课程章节按固定方式人工标注和处理。 发布应用,确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析: 创建文本型知识库: 自动分段与清洗:扣子可对上传的内容进行自动解析,支持复杂布局的文件处理,如识别段落、页眉/页脚/脚注等非重点内容,支持跨页跨栏的段落合并,支持解析表格中的图片和文档中的表格内容(目前仅支持带线框的表格)。操作步骤为在分段设置页面选择自动分段与清洗,然后依次单击下一步、确认,可查看分段效果,不满意可重新分段并使用自定义分段。 自定义:支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义,然后依次设置分段规则和预处理规则,包括选择分段标识符、设置分段最大长度和文本预处理规则,最后单击下一步完成内容分段。 创建表格型知识库: 目前支持 4 种导入类型:本地文档、API、飞书、自定义。 本地文档:选择本地文档从本地文件中导入表格数据,目前支持上传 Excel 和 CSV 格式的文件,文件不得大于 20M,一次最多可上传 10 个文件,且表格内需要有列名和对应的数据。 API:参考特定操作从 API 返回数据中上传表格内容,包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率,然后单击下一步。 飞书:参考特定操作从飞书表格中导入内容,包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用(仅首次导入需授权和安装),然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档,云文档的创建者必须是自己,暂不支持导入知识库和共享空间下的云文档。 上传文本内容: 在线数据:扣子支持自动抓取指定 URL 的内容,也支持手动采集指定页面上的内容,上传到数据库。 自动采集方式:适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据,然后依次单击下一步、自动采集、新增 URL,输入网站地址、选择是否定期同步及周期,最后单击确认,上传完成后单击下一步,系统会自动分片。 手动采集:适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序,在文本格式页签下选择在线数据,然后依次单击下一步、手动采集、授予权限,输入采集内容的网址,标注提取内容,查看数据确认无误后完成并采集。
2025-04-18
知识库怎么构建
构建知识库的方法主要有以下几种: 1. 使用 Flowith 构建: 选择“Manage Your Knowledge Base”,进入知识库管理页面。 点击左上角的加号添加新的知识库,为其起一个便于分辨的名字。 点击添加文件,建议使用 Markdown 格式的文件。 等待 Flowith 对文件进行抽取等处理,处理完毕后可在知识库管理页面测试检索。 2. 使用 Dify 构建: 准备数据:收集文本数据,进行清洗、分段等预处理。 创建数据集:在 Dify 中创建新数据集,上传准备好的文档并编写描述。 配置索引方式:根据需求选择高质量模式、经济模式或 Q&A 分段模式。 集成至应用:将数据集集成到对话型应用中,配置数据集的使用方式。 持续优化:收集用户反馈,更新知识库内容和优化索引方式。 3. 本地部署大模型并搭建个人知识库(涉及 RAG 技术): 了解 RAG 技术:大模型训练数据有截止日期,RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决依赖新数据的问题。 RAG 应用的 5 个过程: 文档加载:从多种来源加载文档,如 PDF、SQL 等。 文本分割:把文档切分为指定大小的块。 存储:包括将文档块嵌入转换成向量形式,并将向量数据存储到向量数据库。 检索:通过检索算法找到与输入问题相似的嵌入片。 输出:将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器:将用户提供的文本加载到内存中以便后续处理。
2025-04-15
如何搭建知识库
搭建知识库的方法如下: 使用 flowith 搭建: 选择“Manage Your Knowledge Base”,进入知识库管理页面。 点击左上角的加号添加新的知识库,给知识库起一个便于分辨的名字。 点击添加文件,建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理,处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建: 准备数据:收集文本数据,进行清洗、分段等预处理。 创建数据集:在 Dify 中创建新数据集,上传准备好的文档并编写描述。 配置索引方式:提供三种索引方式,根据需求选择,如高质量模式、经济模式和 Q&A 分段模式。 集成至应用:将数据集集成到对话型应用中,配置数据集的使用方式。 持续优化:收集用户反馈,更新知识库内容和优化索引方式。 使用 Coze 智能体搭建: 手动清洗数据: 在线知识库:点击创建知识库,创建 FAQ 知识库,选择飞书文档,输入区分问题和答案,可编辑修改和删除,添加 Bot 并在调试区测试效果。 本地文档:注意拆分内容,提高训练数据准确度,按章节进行人工标注和处理,然后创建自定义清洗数据。 发布应用:点击发布,确保在 Bot 商店中能搜到。
2025-04-14
如何搭建自己的知识库
以下是搭建自己知识库的方法: 1. 选择“Manage Your Knowledge Base”,进入知识库管理页面。 2. 在页面左上角点击加号,添加新的知识库,并为其起一个易于分辨的名字。 3. 点击添加文件,建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后,可在知识库管理页面测试检索,输入关键词过滤相关内容。 此外,搭建本地知识库还需了解 RAG 技术: 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法,即先检索外部数据,然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载:从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器。 文本分割:把 Documents 切分为指定大小的块。 存储:将切分好的文档块进行嵌入转换成向量的形式,并将 Embedding 后的向量数据存储到向量数据库。 检索:通过某种检索算法找到与输入问题相似的嵌入片。 输出:把问题以及检索出来的嵌入片一起提交给 LLM,生成更合理的答案。 对于基于 GPT API 搭建定制化知识库,涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限,OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量,两个向量之间的距离衡量它们的关联性,小距离表示高关联度。在 OpenAI 词嵌入中,靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。
2025-04-14
我想做一个,基于我个人知识库的chatbot,以供我随时搜索和提问,且优先搜索知识库内的内容而非联网搜索,你有什么建议吗?
以下是为您提供的关于创建基于个人知识库的 chatbot 的建议: 1. 选择合适的平台和工具:例如可以考虑使用飞书智能伙伴创建平台(Aily)或扣子(https://www.coze.cn/home)等。 2. 数据分段储存:由于大模型的上下文长度有限制,需要将上传的资料根据特定符号或字符长度进行分段,如将 8000 字文档按每 800 字分成一个片段储存。 3. 增强检索:当用户输入问题,大模型会根据相似度检索出若干最相关的数据片段,再据此生成答案,这一技术称为 RAG(检索增强生成)。 4. 配置知识库: 在 Bot 内使用知识库: 登录相关平台。 在左侧导航栏的工作区区域,选择进入指定团队。 在 Bots 页面,选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域,单击加号图标,添加指定的知识库。 (可选)添加知识库后,可以在自动调用下拉界面内,调整知识库的配置项,如最大召回数量、最小匹配度、调用方式等。 在工作流内使用 Knowledge 节点: 登录相关平台。 在左侧导航栏的工作区区域,选择进入指定团队。 在页面顶部进入工作流页面,并打开指定的工作流。 在左侧基础节点列表内,选择添加 Knowledge 节点。 5. 注意使用限制:单用户最多创建 1000 个知识库,文本类型知识库下最多支持添加 100 个文档,单用户每月最多新增 2GB 数据,累计上限是 10GB。 此外,知识库可以解决大模型幻觉、专业领域知识不足的问题,提升大模型回复的准确率。您可以将知识库直接与 Bot 进行关联用于响应用户回复,也可以在工作流中添加知识库节点,成为工作流中的一环。
2025-04-14
小红书图文批量生成
以下是关于小红书图文批量生成的详细内容: 流量密码!小红书万赞英语视频用扣子一键批量生产,这是一个保姆级教程,小白都能看得懂。 原理分析: 决定搞之后,思考生成这种视频的底层逻辑,进行逆推。这种视频由多张带文字图片和音频合成,带文字图片由文字和图片生成,文字和图片都可由 AI 生成,音频由文字生成,文字来源于图片,也就是说,关键是把图片和文字搞出来。 逻辑理清后,先找好看的模版,未找到好看的视频模版,最后看到一个卡片模版,先把图片搞出来,才有资格继续思考如何把图片变成视频,搞不出来的话,大不了不发视频,先发图片,反正图片在小红书也很火。 拆模版: 要抄这种图片,搞过扣子的第一反应可能是用画板节点 1:1 去撸一个,但扣子的画板节点很难用,Pass 掉。用 PS 不行,太死板不灵活,html 网页代码可以,非常灵活。经过 2 个多小时和 AI 的 battle,用 html 代码把图片搞出来了。这里不讲代码怎么写,直接抄就行。要抄,首先要学会拆,不管用什么方式批量生成这样的图片,都必须搞清楚里面有哪些是可以变化的参数,也就是【变量】,如主题、主题英文、阶段、单词数、图片、正文、翻译、普通单词、重点单词等。 想方法: 大概知道批量生成这样的图片需要搞清楚哪些参数,图片用 html 代码搞出来了。但问题是视频怎么搞,这种视频由多张不同的【带文字的图片】生成,比如读到哪句,哪句就高亮起来,图片也可以随着读到的句子变更。最后,视频就是用这样的图片一张张拼起来的。
2025-04-14
你好,我想做一个英语入场情景对话的Ai图文视频小红书账号,请给我写个机场值机的对话
以下是为您生成的一个机场值机的英语情景对话,您可以根据这个对话来制作相关的 Ai 图文视频小红书内容: A: Good morning. Can I help you? B: Yes, I'd like to check in for my flight. A: May I see your passport and ticket, please? B: Here you are. A: Thank you. Are you checking any luggage? B: Yes, I have two suitcases. A: OK. Please put them on the scale. B: All right. A: Your luggage is within the weight limit. Here's your boarding pass. Your seat is 15A. B: Thank you. What time does boarding start? A: Boarding will begin at 10:30. B: Great. Thank you very much. A: Have a nice flight!
2025-03-27
微信SVG图文 什么AI可以帮我实现
Jianhua.Art 是一个能够通过自然语言设计图文和动画的浏览器插件。它目前是阉割版本,几乎离线(除大模型调用),无数据库和用户体系,数据存本地。只要有 OpenAI 格式的大模型 key 就能免费使用,能为网页设计生成分享海报。默认模板内置粗糙的网页总结,可生成 SVG 图片,还能对生成内容进行多种操作,如修改 SVG 代码、复制为 PNG 图片或下载 SVG 图片,插入微信、微信公众号、Figma 等地方,插入 Figma 时是分层的方便编辑。作者会考虑增加 SVG 插入微信公众号等更多地方的功能,还建了反馈群,短期内免费使用,只要有 Token 就能白嫖。若想用网页内容提取功能,创建应用时打开提取开关,支持提取的变量都已列出,复制粘贴到提示词里即可。
2025-03-18
google最新的图文ai
Google 最新推出的图文 AI 为 Gemini 文生图 AI,它正在重塑设计行业,展现出强大的创作能力。以下是关于 Gemini 的一些特点和相关评测: 总体评价: 是当下最值得全设计行业甚至全碳基社会使用的文生图 AI。 在自然语言的修改指令理解、材质质感复现、局部细节微调方面,达到部分生产创作环节完全可用的水准。 几乎可算 AI 许愿机、超级嘴炮魔法。 能力表现: 在自然语言理解与材质质感复现方面表现出色。 在设计细节调整和多样化风格生成上表现出色。 语意遵循和画面控制力足够听话,风格化足够灵活,质感足够有 B 格。 应用潜力: 具有广泛的应用潜力,特别适合设计与内容创作领域的专业人士探索。 文中提到的 4 项能力测试和 5 个应用案例揭示了其能力边界。 如果您想了解更多关于 Gemini 的详细内容,可参考相关文章。
2025-03-16
飞书多维表格生成小红书图文笔记
以下是关于使用飞书多维表格生成小红书图文笔记的相关内容: 一、Coze 应用+多维表格的高速数据分析 1. 动手实践 Coze 应用 创建应用:打开 Coze,可选择 PC 模式,需要几个参数,包括多维表格地址、数据表名、小红书博主首页地址,界面设计为三个输入框和一个按钮。 开发工作流:包括读取博主笔记列表的工作流,工作流实际上只有三步,读取、转换、写入。开始节点设置三个参数,分别代表多维表格地址,表名称,博主首页地址。第二步的节点需要把数据转换为符合多维表格插件接收的数据格式,需添加一个代码节点并复制代码。在插件市场搜索官方的多维表格插件,选择 add_records 并分配配置参数。结束节点配置一个值即可。 Coze 智能体(字段捷径)获取笔记+评论信息 创建智能体:使用单 Agent 对话流模式。 编排对话流:创建新的对话流并与智能体关联,配置两个小红书插件,在获取笔记详情节点和笔记评论节点分别配置 cookie,使用代码节点进行数据处理,注意代码节点输出的配置格式。 测试:找到一篇小红书笔记,试运行对话流,在对话窗口输入地址查看数据,回到智能体的编排页面同样测试,确保对话流执行成功。 发布:点发布后选择多维表格,进行配置,包括输出类型选文本、输入类型选字段选择器,完善上架信息,选发布范围,提交上架信息。 二、办公提效神器:飞书多维表格字段插件 1. 工作紧任务重 第一步,用 AI 插件理解图片:上传参考的海报图片,用 AI 内容生成插件理解。创建表格列时,选择字段捷径,在 AI 中心找到智谱 AI 的内容生成插件,配置提示文本、上传图片所在列和模型。 第二步,生成视频的指令:用飞书自带的插件总结宣语,生成视频的 prompt 指令。自定义总结要求,生成宣传语后再使用飞书自带的自定义 AI 插件生成视频所需的 prompt 指令。
2025-03-13
你现在是抖音运营,如何可以利用现有图片素材,自动生成服饰图文
以下是一些利用现有图片素材自动生成服饰图文的方法和相关资源: 1. TryOffDiff:这是一种 AI 脱衣技术,能够逆向打造服装图片。与虚拟试衣不同,它可以将衣服从照片中“摘取”生成标准化服装图,并且能够保留图案、褶皱、徽标等精细细节,即使原图中部分被遮挡,也能准确推断。其应用场景广泛,适合商品目录制作及电商平台服装展示需求。详细介绍: 2. 可生成自定义服装效果图,支持颜色、款式、材质等多种细节描述。基于 H&M Fashion Captions 数据集,提供多样化的时尚风格参考。模型权重为 Safetensors 格式,便于集成和使用。模型下载: 3. 在 Stable Diffusion 中,若看到好看的图片想复制其效果,可将照片导入。若为 SD 下载的 PNG 格式照片,右边会自动弹出照片信息,包括正面关键词、负面关键词等,可复制这些信息到“文生图”页面生成相似图片。若照片无法自动弹出信息,可使用“标签器(Tagger)”生成关键词。
2025-03-12
联网检索的ai
以下是关于联网检索的 AI 的相关信息: 存在能联网检索的 AI,它们通过连接互联网,实时搜索、筛选并整合所需数据,为用户提供更精准和个性化的信息。 例如 ChatGPT Plus 用户现在可以开启 web browsing 功能实现联网。 Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能,允许用户指定希望聊天机器人在制定响应时搜索的源类型。 Bing Copilot 作为 AI 助手,旨在简化在线查询和浏览活动。 还有如 You.com 和 Neeva AI 等搜索引擎,提供基于人工智能的定制搜索体验,并保持用户数据的私密性。 常见的 AI 助手采用通过联网搜索获取实时信息。当用户开启联网搜索时,助手先将用户的请求发送至搜索引擎,再将返回内容与用户输入一起提供给大模型,最终生成回答。搜索引擎在此作为实时信息源,为大语言模型提供额外的上下文。 如果希望 AI 能提供行业内部信息、或者研发的自有系统内的信息,AI 联网搜索的效果就很不好,甚至无法实现。用户可以自行搭建 AI 代理,将自有系统的数据通过 API 的形式接入 AI 助手,为大语言模型补充提供丰富的上下文信息。 MCP 协议解决了 AI 大模型与数据源集成碎片化的问题,提供统一标准,让开发者无需为每个数据源和 AI 助手单独开发连接器。通过 MCP,数据源和 AI 工具可建立安全双向连接,使 AI 在不同工具和数据集间流畅协作,实现更可持续的架构。 在完成意图识别,确认需要联网检索之后,可以对用户的 query 进行改写(Rewrite)。Query Rewrite 的目的,是为了得到更高的检索召回率。Query Rewrite 可以通过设置提示词请求大模型完成,主要包括三个维度的改写: 让提问有更精准/更专业的表达。比如用户搜索“ThinkAny”,改写后的 query 可以是“ThinkAny 是什么?”,再把问题翻译成英文“ What is ThinkAny ”,同一个问题,双语分别检索一次,得到更多的参考信息。 补全上下文,做指代消解。比如用户搜索“ThinkAny 是什么?”,得到第一次回复后继续追问“它有什么特点?”,用历史对话内容作为上下文,把第二次 query 改写成“ThinkAny 有什么特点?”,指代消解后再去检索,会有更高的召回率。 名词提取。比如用户搜索“ThinkAny 和 Perplexity 有什么区别?”,可以把“ThinkAny”和“Perplexity”两个名词提取出来,分别检索。 提升 AI 搜索准确度,另一个关键措施就是做多信息源整合。结合上面提到的意图识别和问题改写,假设用户搜索“ThinkAny 和 Perplexity 的区别是什么?”,根据意图识别,判断需要联网,并且是信息查询类的搜索意图。在问题改写阶段,提取出来“ThinkAny”和“Perplexity”两个概念名词,除谷歌检索之外,还可以检索 Wikipedia/Twitter 等信息源,拿到百科词条内容和 Twitter 的用户反馈信息,可以更好地回答这个问题。AI 搜索最大的壁垒在于数据。 内容由 AI 大模型生成,请仔细甄别。
2025-04-09
你这个知识库和检索是用什么搭建的?
我们的知识库和检索主要基于以下原理和流程搭建: 1. 文本预处理:包括去除无关字符、标准化文本(如将所有字符转换为小写)、分词等,以清洁和准备文本数据。 2. 嵌入表示:将预处理后的文本(词或短语)转换为向量。通常通过使用预训练的嵌入模型,如 Word2Vec、GloVe、BERT 等,将每个词或短语映射到高维空间中的一个点(即向量)。 3. 特征提取:对于整个问题句子,可能应用进一步的特征提取技术,比如句子级别的嵌入,或使用深度学习模型(如 BERT)直接提取整个句子的表示,以捕捉句子的上下文信息。 4. 向量优化:在某些情况下,问题的向量表示可能会根据具体任务进行优化,例如通过调整模型参数来更好地与检索系统的其他部分协同工作。 在知识库检索阶段: 1. 首先需要有一个知识库。在大模型的检索中,并非依靠传统的关键字搜索,而是依靠问题在空间中的向量位置,去寻找距离这个向量最近的其他词句,然后完成检索。 2. 要在向量中进行检索,我们的知识库会被转化成一个巨大的向量库。具体流程包括文档向量化、文档加载(从多种不同来源加载文档)、文本分割(把文档切分为指定大小的块)、存储(将切分好的文档块进行嵌入转换成向量的形式,并将向量数据存储到向量数据库)、检索(通过某种检索算法找到与输入问题相似的嵌入片)以及输出(把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起生成更加合理的答案)。
2025-03-25
检索有关AI入门必读书籍
以下是为您推荐的 AI 入门必读书籍: 1. 「」,有助于熟悉 AI 的术语和基础概念。 2. 「」,其中包含为初学者设计的课程。 3. GPT1 到 Deepseek R1 所有公开论文 The 2025 AI Engineer Reading List:涉及人工智能工程的 10 个领域,包括 LLMs、基准、提示、RAG、代理、CodeGen、视觉、语音、扩散、微调。如果您想从零开始,可以从此处开始。 4. 入门经典必读:作者为 ,原文地址:https://a16z.com/2023/05/25/aicanon/ 。文中分享了一份用于更深入了解现代 AI 的精选资源列表。
2025-03-17
如何设置知识库才可以提高检索效率
以下是一些提高知识库检索效率的方法: 1. 文档分块: 分块是为了后续的检索能返回更精准的答案。 避免把整个使用手册作为一个整体检索,防止返回大量无关信息。 适应模型输入限制,确保能将相关信息输入到模型中,不超出其处理能力。 提升回答质量,让大语言模型更集中地理解和回答特定问题。 优化向量表示,得到更精确的向量,提高检索准确性。 2. 选择合适的工具和平台: 如使用 Coze 时: 可以使用外贸大师产品的帮助文档进行演示。 选择其中一个文档创建知识库,如“购买后新人常见问题汇总·语雀”。 点击创建知识库,从知识库中添加知识单元,使用 Local doucuments 的方式,上传 Markdown 格式文档,注意每个问题使用“”开头。 但要注意文档的分片策略会严重影响查询结果,跨分片总结和推理能力弱、文档有序性被打破、表格解析失败等是基于 RAG 方案自身原理导致的问题。 如使用百炼时: 在百炼控制台的中的非结构化数据页签中点击导入数据,上传相关文档。 根据文档大小,百炼需要一定时间解析,通常占用 1 6 分钟。 进入,创建新的知识库并选择上传的文件,其他参数保持默认,建立索引。 选择向量存储类型时,若希望集中存储、灵活管理多个应用的向量数据,可选择 ADB PG。 完成知识库创建后,返回,打开知识检索增强开关、选择目标知识库,测试验证符合预期后点击发布。 特别需要注意的是,不同工具和平台可能存在各自的特点和限制,需要根据实际情况进行选择和优化。
2025-03-14
有没有路径可以围绕DS、豆包等大模型的检索结果做优化的路径
围绕 DS、豆包等大模型的检索结果做优化的路径包括以下方面: 首先,通过集成收集 AI 反馈(AIF)聊天模型完成情况,然后利用 GPT4(UltraFeedback)进行评分并二值化为偏好。其中,Step2AIF 在某种程度上是一种 selfplay,通过多模型 prompt 生成来进行 RL。在模型最终采用的 DPO 算法的 SFT 过程中,用于最终模型 SFT 所训练的 AIF 数据集与原始 pretraining 数据集在数据(tokens)序列组织构象上存在差异,这是一种 Synthetic Data 的路径,关键在于这种 Synthetic Data 与原始 Data 在特征与知识分布上的差异。 DPO 算法通俗来讲,当一个答案是好的答案时,模型要尽可能增大其被策略模型生成的概率;当一个答案是差的答案时,模型则需要尽可能降低其被策略模型生成的概率。 以上是在 RL×LLM 方面的一些探索,接下来需要将上述模型案例以及延展的思考进行沉淀,回归第一性原理进行更进一步的本质探寻,以找到两者之间隐含的共性、差异以及呈现当前技术发展路径与现状的必然性。
2025-03-04
增强检索生成
RAG(RetrievalAugmented Generation,检索增强生成)是一种结合检索和生成能力的自然语言处理架构,旨在为大语言模型(LLM)提供额外的、来自外部知识源的信息。 通用语言模型通过微调可完成常见任务,而对于更复杂和知识密集型任务,基于语言模型构建访问外部知识源的系统能使结果更符合事实、更可靠,缓解“幻觉”问题。Meta AI 的研究人员引入了 RAG 方法来完成这类任务,它把信息检索组件和文本生成模型结合在一起,可微调且内部知识修改高效,无需重新训练整个模型。 RAG 工作流程如下: 1. 检索:利用用户查询从外部知识源获取相关信息,将查询转化为向量与向量数据库比对,找到最匹配的前 k 个数据作为补充背景信息。 2. 数据库索引:包括离线获取数据、清理提取原始数据、转换文件格式、分块、嵌入和创建索引等步骤。 3. 增强:将用户查询和检索到的额外信息嵌入预设提示模板。 4. 生成:将问题与相关文档合并为新提示信息,由大语言模型回答问题,可选择依赖知识库或仅基于给定信息,也可融入历史对话信息支持多轮对话。 LLM 需要 RAG 的原因在于 LLM 存在一些缺点: 1. 无法记住所有知识,尤其是长尾知识,接受能力不高。 2. 知识容易过时且不好更新,微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证,易受幻觉等问题干扰。 4. 容易泄露隐私训练数据。 5. 规模大,训练和运行成本高。 RAG 具有以下优点: 1. 数据库对数据的存储和更新稳定,无学习风险。 2. 数据库数据更新敏捷,可解释且不影响原有知识。 3. 数据库内容明确结构化,降低大模型输出出错可能。 4. 便于管控用户隐私数据,可控、稳定、准确。 5. 降低大模型训练成本,新知识存储在数据库无需频繁更新模型。
2025-02-24
多模态应用
以下是一些多模态应用的案例: 1. 电商领域: 拍立淘:由淘宝推出,用户拍照即可识别商品并直接进入购物页面,简化购物搜索步骤。 探一下:支付宝推出的图像搜索引擎,拍照后 AI 能识别并搜索相关商品或信息。 2. 创意领域: 诗歌相机:拍照能生成一首诗,还能打印,将诗意与现代技术结合,并做成硬件形式。 3. 技术平台: 阿里云百炼大模型平台为企业侧提供各种原子级别能力,包括多模态能力。 4. 其他应用场景: 融图:如把图二中的机器人合成到图一的环境中,保持比例、细节、光影和氛围感统一。 小红书风格卡片:使用特定风格生成关于特定内容的卡片。 Logo 转 3D 效果:将图标改成 3D 立体、毛玻璃、毛绒等效果。 示意图转卡通漫画:把示意图转成幼儿园小朋友能看懂的漫画并配中文说明。 遥感理解(图像数据):识别图中的建筑物并用色块标注。 包装图直出效果:生成图片对应的包装侧面效果图。 参考生成海报图:参考小红书封面生成 PPT 设计相关封面图。 三维建模模拟:将图片转化为 3D max 建模渲染界面并加入 UI 界面。 手办三视图:保留人物样貌、神态,制作成特定要求的 3D 手办三视图。
2025-04-18
金融业相关AI应用场景或AI技术介绍
在金融业中,AI 有以下应用场景和技术: 1. 风控和反欺诈:用于识别和阻止欺诈行为,降低金融机构的风险。 2. 信用评估:评估借款人的信用风险,帮助金融机构做出更好的贷款决策。 3. 投资分析:分析市场数据,辅助投资者做出更明智的投资决策。 4. 客户服务:提供 24/7 的客户服务,回答客户常见问题。 例如,Hebbia 获得近 1 亿美元 B 轮融资,其 AI 技术能够一次处理多达数百万份文档,在短时间内浏览数十亿份包括 PDF、PowerPoint、电子表格和转录内容等,并返回具体答案,主要面向金融服务公司,如对冲基金和投资银行,同时也适用于律师事务所等其他专业领域。
2025-04-15
结构化思维在AI办公里的应用
结构化思维在 AI 办公中有以下应用: 在 Model Context Protocol 托管平台中: 特色功能方面,Sequential Thinking 提供动态和反思性问题解决的结构化思维过程,适用于复杂问题分析和决策。 核心功能分类包括笔记管理工具(如 Simple Notes MCP Server、Bear MCP Server、Notion 集成)、AI 对话工具(如 Autonomous Coder Agent、OpenAI 兼容 API 集成)、Google Workspace 集成(如 Gmail 和 Google Calendar 集成、多账户管理、邮件搜索和撰写、日历事件管理)、学术研究工具(如 Semantic Scholar 集成、PubMed 搜索、arXiv 论文访问、IACR 密码学文献库访问)、AI 数据库管理(如 MySQL Server 集成、知识图谱记忆服务、DuckDB 集成、Airtable 集成)。 面对 AI 幻觉问题时,可使用结构化思考工具辅助判断,如决策矩阵用于面对多个选择时做出更理性的决策,检查清单用于执行复杂任务时确保每个步骤按计划完成,风险评估模型用于做重要决策时分析不同方案的风险并制定应对措施。 在让 AI 像人类一样思考方面,构建逻辑体感轮子,包括逻辑推理功能和内容抽象功能。内容抽象功能能够高效地组织内容,体现结构化思维,通过心智单元的抽象思维高效地组织复杂任务。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标: 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状,识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物): 请输出10个业务价值高、具备可行性的AI应用场景介绍,并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您生成的 10 个业务价值高、具备可行性的 AI 应用场景介绍: 1. 人才招聘与筛选 What:利用 AI 技术对求职者的简历进行自动筛选和分析,评估其与岗位的匹配度。 Why:节省 HR 大量的时间和精力,提高招聘效率和准确性。 How:通过自然语言处理和机器学习算法,训练模型识别关键信息和技能。 2. 员工培训与发展 What:根据员工的技能水平和职业发展目标,定制个性化的培训计划。 Why:提升员工的能力和绩效,增强员工对企业的忠诚度。 How:利用大数据分析员工的工作表现和学习需求,推荐相关课程和学习资源。 3. 薪酬福利管理 What:运用 AI 预测市场薪酬趋势,为企业制定合理的薪酬策略。 Why:保持企业薪酬的竞争力,吸引和留住优秀人才。 How:收集和分析行业薪酬数据,结合企业的财务状况和战略目标进行优化。 4. 员工绩效评估 What:借助 AI 实时监测员工的工作表现,提供客观的绩效评估。 Why:减少人为偏差,确保评估的公正性和准确性。 How:利用工作流程数据和行为分析模型进行评估。 5. 员工关系管理 What:通过 AI 分析员工的情绪和满意度,及时发现问题并解决。 Why:营造良好的工作氛围,提高员工的工作积极性和创造力。 How:使用情感分析技术处理员工的反馈和交流信息。 6. 组织架构优化 What:利用 AI 分析企业的业务流程和人员配置,提供组织架构调整建议。 Why:提高企业的运营效率和灵活性,适应市场变化。 How:基于数据分析和模拟优化算法进行评估和推荐。 7. 人力资源规划 What:根据企业的战略目标和业务发展预测人力资源需求。 Why:提前做好人才储备和招聘计划,保障企业的正常运营。 How:运用数据分析和预测模型进行规划。 8. 企业文化传播 What:使用 AI 生成个性化的企业文化宣传内容,提高传播效果。 Why:增强员工对企业文化的认同感和归属感。 How:利用自然语言生成技术和个性化推荐算法。 9. 智能客服 What:在 HR 服务中引入 AI 客服,解答员工常见问题。 Why:快速响应员工需求,提高服务质量。 How:训练智能客服模型,涵盖常见的 HR 问题和解决方案。 10. 人才库管理 What:利用 AI 对人才库进行分类和更新,提高人才库的利用效率。 Why:方便快速找到合适的人才,降低招聘成本。 How:运用数据挖掘和分类算法进行管理。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标: 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状,识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物): 请输出3-5个业务价值高、具备可行性的AI应用场景介绍,并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您提供的 3 个业务价值高、具备可行性的 AI 应用场景介绍: 场景一:AI 在企业招聘中的应用 What:利用 AI 技术进行简历筛选、人才匹配和面试评估。 Why:能够快速处理大量简历,提高招聘效率和准确性,节省人力和时间成本,同时更精准地找到符合岗位需求的人才。 How:通过引入相关的 AI 招聘软件,与企业现有的招聘系统集成,对简历进行关键词提取和分析,利用机器学习算法进行人才匹配,并通过视频面试中的语音和表情分析辅助评估候选人。 场景二:AI 助力个性化人力资源管理 What:根据员工的个人特点和工作表现,提供个性化的培训计划、职业发展建议和绩效评估。 Why:能够充分发挥员工的潜力,提高员工满意度和忠诚度,促进企业的长期发展。 How:收集员工的工作数据、学习记录和绩效表现等信息,运用 AI 算法进行分析和预测,为员工制定专属的发展方案,并通过移动应用或内部系统向员工推送相关建议和培训课程。 场景三:AI 打造无人值守的 HR 平台 What:实现 HR 业务的自动化处理,如员工请假审批、薪酬计算和福利发放等。 Why:减少人工操作的错误和繁琐流程,提高 HR 工作的效率和准确性,使 HR 人员能够专注于更有价值的战略工作。 How:整合企业内部的各种 HR 系统和数据,利用 RPA 和 AI 技术实现流程的自动化,同时建立监控和预警机制,确保平台的稳定运行。
2025-04-14
飞书+AI的应用案例
以下是飞书+AI的应用案例: 在企业运营方面,包括日常办公文档材料撰写整理、营销对话机器人、市场分析、销售策略咨询,以及法律文书起草、案例分析、法律条文梳理和人力资源简历筛选、预招聘、员工培训等。 在教育领域,协助评估学生学习情况,为职业规划提供建议,针对学生情况以及兴趣定制化学习内容,论文初稿搭建及论文审核,帮助低收入国家/家庭通过 GPT 获得平等的教育资源。 在游戏/媒体行业,有定制化游戏、动态生成 NPC 互动、自定义剧情、开放式结局,出海文案内容生成、语言翻译及辅助广告投放和运营,数字虚拟人直播,游戏平台代码重构,AI 自动生成副本。 在零售/电商领域,包括舆情、投诉、突发事件监测及分析,品牌营销内容撰写及投放,自动化库存管理,自动生成或完成 SKU 类别选择、数量和价格分配,以及客户购物趋势分析及洞察。 在金融/保险行业,有个人金融理财顾问、贷款信息摘要及初始批复、识别并检测欺诈活动风险、客服中心分析及内容洞。 线下活动方面: 活动宣传:用飞书文档制作活动宣传页面,用 AI 快速制作海报,用 GPTs 写人员分配和主持人台词,活动从策划到开始仅用 2 天时间。 活动报名:使用飞书的多维表格完成报名表及数据统计。 活动过程:大家在线协同,一起编辑文档,演示时共同展示一个文档。 活动记录:有相关的记录页面。 办活动的初衷是宣扬 AI 不只是降本增效的工具,还有很多乐趣等待挖掘,例如大理户外圆桌讨论、清迈的 AI 逛古城、杭州的 AI 玄学小组。
2025-04-13