Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

怎么快速建立本地知识库

Answer

以下是快速建立本地知识库的方法：

  1. 了解 RAG 技术：
    • 利用大模型的能力搭建知识库是 RAG 技术的应用。
    • 大模型训练数据有截止日期，RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决。
    • RAG 应用包括文档加载、文本分割、存储、检索和输出 5 个过程。
    • 文档加载可从多种来源加载，包括非结构化、结构化和代码等。
    • 文本分割将文档切分为指定大小的块。
    • 存储包括将文档块嵌入转换为向量形式并存储到向量数据库。
    • 检索通过算法找到与输入问题相似的嵌入片。
    • 输出是将问题和检索出的嵌入片提交给 LLM 生成答案。
    • 文本加载器将用户提供的文本加载到内存中。
  2. 使用 AnythingLLM 软件：
    • 安装地址：https://useanything.com/download 。
    • 安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。
    • 在 AnythingLLM 中创建 Workspace 与其他项目数据隔离。
    • 操作步骤：首先创建工作空间，上传文档并进行文本嵌入，选择对话模式（包括 Chat 模式和 Query 模式），最后测试对话。
  3. 本地文档上传：
    • 在文本格式页签选择本地文档，单击下一步。
    • 将文档拖拽到上传区或选择上传，支持.txt、.pdf、.docx 格式，每个文件不大于 20M，一次最多上传 10 个文件。
    • 上传完成后选择内容分段方式，包括自动分段与清洗（系统自动处理）和自定义（手动设置分段规则和预处理规则）。
    • 自定义分段时可设置分段标识符、分段最大长度和文本预处理规则，如替换连续空格、换行符和制表符，删除所有 URL 和电子邮箱地址。
    • 单击下一步完成内容上传和分片。

总之，看十遍不如实操一遍，实操十遍不如分享一遍，如果您对 AI Agent 技术感兴趣，可以联系相关人员或加入免费知识星球（备注 AGI 知识库）。

Content generated by AI large model, please carefully verify (powered by aily)

References

手把手教你本地部署大模型以及搭建个人知识库

如果想要对知识库进行更加灵活的掌控，我们需要一个额外的软件：AnythingLLM。这个软件包含了所有Open WebUI的能力，并且额外支持了以下能力选择文本嵌入模型选择向量数据库[heading2]AnythingLLM安装和配置[content]安装地址：https://useanything.com/download当我们安装完成之后，会进入到其配置页面，这里面主要分为三步1.第一步：选择大模型1.第二步：选择文本嵌入模型1.第三步：选择向量数据库[heading2]构建本地知识库[content]AnythingLLM中有一个Workspace的概念，我们可以创建自己独有的Workspace跟其他的项目数据进行隔离。1.首先创建一个工作空间1.上传文档并且在工作空间中进行文本嵌入1.选择对话模式AnythingLLM提供了两种对话模式：Chat模式：大模型会根据自己的训练数据和我们上传的文档数据综合给出答案Query模式：大模型仅仅会依靠文档中的数据给出答案1.测试对话当上述配置完成之后，我们就可以跟大模型进行对话了[heading1]六、写在最后[content]我非常推崇的一句话送给大家：看十遍不如实操一遍，实操十遍不如分享一遍如果你也对AI Agent技术感兴趣，可以联系我或者加我的免费知识星球（备注AGI知识库）

手把手教你本地部署大模型以及搭建个人知识库

因为利用大模型的能力搭建知识库本身就是一个RAG技术的应用。所以在进行本地知识库的搭建实操之前，我们需要先对RAG有一个大概的了解。以下内容会有些干，我会尽量用通俗易懂的描述进行讲解。我们都知道大模型的训练数据是有截止日期的，那当我们需要依靠不包含在大模型训练集中的数据时，我们该怎么做呢？实现这一点的主要方法就是通过检索增强生成RAG（Retrieval Augmented Generation）。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给LLM。我们可以将一个RAG的应用抽象为下图的5个过程：文档加载（Document Loading）：从多种不同来源加载文档。LangChain提供了100多种不同的文档加载器，包括PDF在内的非结构化的数据、SQL在内的结构化的数据，以及Python、Java之类的代码等文本分割（Splitting）：文本分割器把Documents切分为指定大小的块，我把它们称为“文档块”或者“文档片”存储（Storage）：存储涉及到两个环节，分别是：将切分好的文档块进行嵌入（Embedding）转换成向量的形式将Embedding后的向量数据存储到向量数据库检索（Retrieval）：一旦数据进入向量数据库，我们仍然需要将数据检索出来，我们会通过某种检索算法找到与输入问题相似的嵌入片Output（输出）：把问题以及检索出来的嵌入片一起提交给LLM，LLM会通过问题和检索出来的提示一起来生成更加合理的答案[heading2]文本加载器（Document Loaders）[content]文本加载器就是将用户提供的文本加载到内存中，便于进行后续的处理

创建并使用知识库

|上传方式|操作步骤||-|-||本地文档|1.在文本格式页签下，选择本地文档，然后单击下一步。<br>2.将要上传的文档拖拽到上传区，或单击上传区域选择要上传的文档。<br>目前支持上传.txt,.pdf,.docx格式的文件内容。<br>每个文件不得大于20M。<br>一次最多可上传10个文件<br>1.当上传完成后单击下一步。<br>2.选择内容分段方式：<br>2.1.自动分段与清洗：系统会对上传的文件数据进行自动分段，并会按照系统默认的预处理规则处理数据。<br>2.2.自定义：手动设置分段规则和预处理规则。<br>分段标识符：选择符合实际所需的标识符。<br>分段最大长度：设置每个片段内的字符数上限。<br>文本预处理规则：<br>替换掉连续的空格、换行符和制表符<br>删除所有URL和电子邮箱地址<br>1.单击下一步完成内容上传和分片。|

Others are asking
coze搭建智能体，用上传的文件和知识库的文件做对比，分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息： 1. 证件照相关操作： 展示原图上传结果，基本脸型已换，生成效果与上传照片特征有关。 改背景可利用改图功能，一键改图效果更好，输出数据类型为图片。 豆包节点生成的是 URL 地址，与前者不同，在工作流使用有差异，可参考简单提示词。 介绍证件照工作流相关操作，包括通过提示词改背景颜色，设置输出方式为返回变量；讲解消耗 token 及保存结果相关问题；对按钮、表单添加事件并设置参数，限制上传文件数量；还涉及给表单和图片绑定数据，以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开，介绍 for meet 的设置，如表单事件操作、图片上传数量修改等，提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况，分析换性别等问题成因，指出需在工作流优化提示词，也可尝试用视频模型解决，最后进入问答环节。 2. 多维表格的高速数据分析： 创建智能体，使用单 Agent 对话流模式。 编排对话流，创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理，注意代码节点输出的配置格式。 测试，找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 发布，选择多维表格，配置输出类型为文本，输入类型选择字段选择器，完善上架信息，可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接： 创建知识库，可选择手动清洗数据提高准确性，包括在线知识库和本地文档。 在线知识库创建时，飞书在线文档中每个问题和答案以分割，可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度，如将课程章节按固定方式人工标注和处理。 发布应用，确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析： 创建文本型知识库： 自动分段与清洗：扣子可对上传的内容进行自动解析，支持复杂布局的文件处理，如识别段落、页眉/页脚/脚注等非重点内容，支持跨页跨栏的段落合并，支持解析表格中的图片和文档中的表格内容（目前仅支持带线框的表格）。操作步骤为在分段设置页面选择自动分段与清洗，然后依次单击下一步、确认，可查看分段效果，不满意可重新分段并使用自定义分段。 自定义：支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义，然后依次设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度和文本预处理规则，最后单击下一步完成内容分段。 创建表格型知识库： 目前支持 4 种导入类型：本地文档、API、飞书、自定义。 本地文档：选择本地文档从本地文件中导入表格数据，目前支持上传 Excel 和 CSV 格式的文件，文件不得大于 20M，一次最多可上传 10 个文件，且表格内需要有列名和对应的数据。 API：参考特定操作从 API 返回数据中上传表格内容，包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率，然后单击下一步。 飞书：参考特定操作从飞书表格中导入内容，包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用（仅首次导入需授权和安装），然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档，云文档的创建者必须是自己，暂不支持导入知识库和共享空间下的云文档。 上传文本内容： 在线数据：扣子支持自动抓取指定 URL 的内容，也支持手动采集指定页面上的内容，上传到数据库。 自动采集方式：适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据，然后依次单击下一步、自动采集、新增 URL，输入网站地址、选择是否定期同步及周期，最后单击确认，上传完成后单击下一步，系统会自动分片。 手动采集：适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序，在文本格式页签下选择在线数据，然后依次单击下一步、手动采集、授予权限，输入采集内容的网址，标注提取内容，查看数据确认无误后完成并采集。
2025-04-18
知识库怎么构建
构建知识库的方法主要有以下几种： 1. 使用 Flowith 构建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，为其起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 等待 Flowith 对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 2. 使用 Dify 构建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：根据需求选择高质量模式、经济模式或 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 3. 本地部署大模型并搭建个人知识库（涉及 RAG 技术）： 了解 RAG 技术：大模型训练数据有截止日期，RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决依赖新数据的问题。 RAG 应用的 5 个过程： 文档加载：从多种来源加载文档，如 PDF、SQL 等。 文本分割：把文档切分为指定大小的块。 存储：包括将文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器：将用户提供的文本加载到内存中以便后续处理。
2025-04-15
如何搭建知识库
搭建知识库的方法如下： 使用 flowith 搭建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，给知识库起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：提供三种索引方式，根据需求选择，如高质量模式、经济模式和 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 使用 Coze 智能体搭建： 手动清洗数据： 在线知识库：点击创建知识库，创建 FAQ 知识库，选择飞书文档，输入区分问题和答案，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理，然后创建自定义清洗数据。 发布应用：点击发布，确保在 Bot 商店中能搜到。
2025-04-14
如何搭建自己的知识库
以下是搭建自己知识库的方法： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 在页面左上角点击加号，添加新的知识库，并为其起一个易于分辨的名字。 3. 点击添加文件，建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后，可在知识库管理页面测试检索，输入关键词过滤相关内容。 此外，搭建本地知识库还需了解 RAG 技术： 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法，即先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，生成更合理的答案。 对于基于 GPT API 搭建定制化知识库，涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限，OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量，两个向量之间的距离衡量它们的关联性，小距离表示高关联度。在 OpenAI 词嵌入中，靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。
2025-04-14
我想做一个，基于我个人知识库的chatbot，以供我随时搜索和提问，且优先搜索知识库内的内容而非联网搜索，你有什么建议吗？
以下是为您提供的关于创建基于个人知识库的 chatbot 的建议： 1. 选择合适的平台和工具：例如可以考虑使用飞书智能伙伴创建平台（Aily）或扣子（https://www.coze.cn/home）等。 2. 数据分段储存：由于大模型的上下文长度有限制，需要将上传的资料根据特定符号或字符长度进行分段，如将 8000 字文档按每 800 字分成一个片段储存。 3. 增强检索：当用户输入问题，大模型会根据相似度检索出若干最相关的数据片段，再据此生成答案，这一技术称为 RAG（检索增强生成）。 4. 配置知识库： 在 Bot 内使用知识库： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在 Bots 页面，选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域，单击加号图标，添加指定的知识库。 （可选）添加知识库后，可以在自动调用下拉界面内，调整知识库的配置项，如最大召回数量、最小匹配度、调用方式等。 在工作流内使用 Knowledge 节点： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在页面顶部进入工作流页面，并打开指定的工作流。 在左侧基础节点列表内，选择添加 Knowledge 节点。 5. 注意使用限制：单用户最多创建 1000 个知识库，文本类型知识库下最多支持添加 100 个文档，单用户每月最多新增 2GB 数据，累计上限是 10GB。 此外，知识库可以解决大模型幻觉、专业领域知识不足的问题，提升大模型回复的准确率。您可以将知识库直接与 Bot 进行关联用于响应用户回复，也可以在工作流中添加知识库节点，成为工作流中的一环。
2025-04-14
我想要一个助手，能帮助我快速计算式子
如果您想要一个能帮助快速计算式子的助手，可以通过以下步骤实现： 1. 搭建示例网站： 创建应用：点击打开提供的函数计算应用模板，参考相关图示选择直接部署，并填写获取到的百炼应用 ID 以及 APIKEY，其他表单项保持默认，点击页面左下角的创建并部署默认环境，等待项目部署完成（预计耗时 1 分钟）。 访问网站：应用部署完成后，在应用详情的环境信息中找到示例网站的访问域名，点击即可查看，确认示例网站已经部署成功。 2. 为网站增加 AI 助手： 增加 AI 助手相关代码：回到应用详情页，在环境详情的最底部找到函数资源，点击函数名称，进入函数详情页。在代码视图中找到 public/index.html 文件，然后取消相应位置的代码注释。最后点击部署代码，等待部署完成。 验证网站上的 AI 助手：重新访问示例网站页面以查看最新效果，此时网站的右下角会出现 AI 助手图标，点击即可唤起 AI 助手。 此外，零代码自建决策助手可以帮您解决生活中的决策问题，决策链设计包括： 1. 加权得分计算：将每个选项在各个标准上的得分与相应的权重相乘，然后求和，得出每个选项的总加权得分。 2. 机会成本分析：考虑选择每个选项时可能放弃的其他机会。 3. 简单情景分析：为每个选项构想最佳和最坏的情况。 4. 决策矩阵分析：将前面步骤的分析结果汇总到一个表格中，包括预期收益、机会成本、净收益、长期影响和风险评估。 决策阶段包括： 1. 敏感性分析：通过调整不同因素的权重，检验决策是否稳健。 2. 情感检验：反思个人对每个选项的情感反应，并考虑其与理性分析的一致性。 3. 提供最终决策建议：基于前面的所有分析，提出一个综合的建议。 案例——帮你选工作： 假设您是一名在职的产品经理，想跳槽并拿到两个不错的 offer，向决策助手求助。整个流程始于您向决策助手提出问题，决策助手随即要求您提供 offer 的基本信息。在您提供完信息后，决策助手开始定义基本的评估标准，并让您审核，还会根据您的喜好和目标给出权重分配的建议。在您认可权重分配后，决策助手对每个选项进行评分，评分采用 1 到 10 分的制度，涵盖所有评估标准。评分完成后，决策助手会整理出一个清晰的表格，包含各项评估标准的权重以及每个选项在各个标准下的得分。
2025-04-12
物质三态变化图，用什么ai工具能快速绘制？
以下是一些可以快速绘制物质三态变化图的 AI 工具： 1. 麻省理工学院与瑞士巴塞尔大学合作开发的机器学习框架，利用生成式人工智能模型自动绘制物理系统的相图，几乎无需人类监督。 2. 在软件架构设计中，以下工具可用于绘制相关视图，包括物质三态变化图： Lucidchart：流行的在线绘图工具，支持多种图表创建，包括物质三态变化图。 Visual Paradigm：全面的 UML 工具，提供创建各种架构视图的功能。 ArchiMate：开源的建模语言，与 Archi 工具一起使用可创建相关视图。 Enterprise Architect：强大的建模、设计和生成代码的工具。 Microsoft Visio：广泛使用的图表和矢量图形应用程序。 draw.io（现在称为 diagrams.net）：免费的在线图表软件。 PlantUML：文本到 UML 的转换工具。 Gliffy：基于云的绘图工具。 Archi：免费的开源工具。 Rational Rose：IBM 的 UML 工具。 此外，Photoshop 2023 Beta 爱国版在某些图像处理和绘图方面也具有一定的能力，但可能不是专门针对物质三态变化图的绘制。
2025-04-11
如何快速上手Cursor、Windsurf、V0.dev、bolt.new、Devin等AI编程产品的经验，能快速转型为AI产品经理？
以下是关于快速上手 Cursor、Windsurf、V0.dev、bolt.new、Devin 等 AI 编程产品并转型为 AI 产品经理的一些经验： 1. 深入理解用户场景和 AI 能力边界：要构建差异化的 AI Native 体验，需要同时对 AI 能力边界和用户场景有深入洞察。 2. 持续迭代产品：在快速变化的模型能力下，避免在每次的基座模型迭代中掉队或被淘汰。 3. 构建良好的模型产品化能力和基础设施：使得应用可以持续收集用户数据以迭代模型。 对于具体的产品： Cursor： 允许用自然语言描述需求，对上下文有深度理解能力，能理解整个项目的结构和依赖关系，进行跨文件的语义分析。 提供智能的代码重构建议，自动诊断和修复常见错误，基于代码自动生成文档。 但要注意，即使有 AI 辅助，当好产品经理也不容易，需要反复沟通和调整。 Devin：作为 2024 年横空出世的产品，预示着软件开发范式的根本转变。 Windsurf、V0.dev、bolt.new 等： 可以使用如 Cursor Composer 构建产品、使用 Bolt.new 构建产品、使用 V0.dev 生成组件等。 此外，国内知名的 AI 全栈开发者 @idoubi 分享了相关使用经验，包括自动补全代码、Debug&&Fix Error、实时对话&&联网搜索、写提示词、写前端页面、截图生成组件、写常用的代码逻辑/函数、代码重构、多语言翻译等方面。同时，对于零代码基础的人员，也有使用相关工具实现想法的方法，如使用 Cursor Composer、Bolt.new、Claude 等构建不同类型的应用。还可以盘点常用的 AI 辅助编程工具和使用场景，如 AI 编辑器（Cursor、Windsurf、Pear Al 等）、编辑器 AI 扩展（Github Copilot、Continue、Cline 等）、UI 组件生成工具（Cursor、V0.dev、Claude、screenshottocode 等）、完整项目构建工具（Cursor、Bolt.new、Replit Agent、Wordware 等）。
2025-04-10
如何快速成为一名ai产品经理
要快速成为一名 AI 产品经理，可以参考以下步骤： 1. 入门级：通过 WaytoAGI 等开源网站或相关课程了解 AI 概念，使用 AI 产品并尝试动手实践应用搭建。 2. 研究级： 技术研究路径：对某一领域有认知，能根据需求场景选择解决方案，或利用 Hugging face 等工具手搓出一些 AI 应用来验证想法。 商业化研究路径：熟悉传统互联网中偏功能实现的产品经理和偏商业运营的产品经理的工作，最好能将两者结合。 3. 落地应用级：拥有成功落地应用的案例，产生商业化价值。 同时，对 AI 产品经理的要求是懂得技术框架，不一定要了解技术细节，而是对技术边界有认知，最好能知道一些优化手段和新技术的发展。AI 本质上是工具和手段，产品经理要关注的还是场景、痛点、价值。 此外，当 AI 与多维表格结合，为用户带来了更多可能性，任何人都能通过多维表格成为 AI 产品经理。例如在一些活动中，如多维表格 AI Maker Day，参与者来自不同领域和岗位，有着各自的优势和想法，包括产品落地服务、多 Agent 处理任务流、宠物与 AI 结合、AI 绘画精灵等方向。
2025-04-09
我想寻找一个AI模型，能快速读懂视频，并总结成为知识架构的应用或网站
以下为您推荐能快速读懂视频并总结成为知识架构的应用或网站： 百炼大模型平台：其影视传媒视频理解能力可对视频进行语音转写、视觉语言分析等处理并总结成文，有清晰使用步骤，可生成爆款文案，还能根据偏好调试提示词。2025 年 1 月 9 号更新的模型可通过 API 调用纹身 AI 等，Windows 用户可在左下角开始运行输入命令提示符进行本地调用，但生成过程较缓慢。 应用场景：包括商品信息图片生成淘宝上架规格参数、智能手表文案生成、社交媒体内容生成、合同提取、拍照搜题、图片转换、模特换装等。 提供 AI 硬件底层能力，AI 拍立得相机拍照可快速成诗并打印，其对接多模态能力可通过智能体应用或工作流形式的 API 调用。 开源使用：有开源地址，可下载到本地，配置阿里云百炼平台的 API key 及 appid 实现场景，运行项目需特定 Python 包和依赖，可新建应用获取 appid，拍照时需设置 API key。 此外，关于 AI 技术原理与框架的相关知识： 生成式 AI 生成的内容称为 AIGC。 相关技术名词： AI 即人工智能。 机器学习包括监督学习、无监督学习、强化学习，电脑通过找规律进行学习。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习从反馈里学习，最大化奖励或最小化损失，类似训小狗。 深度学习参照人脑有神经网络和神经元，因层数多称为深度，神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 即大语言模型，生成图像的扩散模型不属于大语言模型，对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制处理序列数据，无需依赖循环神经网络或卷积神经网络。
2025-04-09
开源flux模型如何快速使用
以下是关于开源 Flux 模型快速使用的方法： 1. 模型的下载： 如果因为环境问题，可以在网盘中下载。 siglipso400mpatch14384（视觉模型）：siglip 由 Google 开发的视觉特征提取模型，负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容并将这些视觉信息编码成一组特征向量。打开 ComfyUI\models\clip，在地址栏输入 CMD 回车，打开命令行，输入下面的命令拉取模型（也可以在网盘里下载）。 image_adapter.pt（适配器）：连接视觉模型和语言模型，优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征，使其适合语言模型处理。通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载，放到 models 的 Joy_caption 文件夹里，如果该文件夹不存在，就新建一个。 MetaLlama3.18Bbnb4bit（语言模型）：大型语言模型，负责生成文本描述。工作流程包括接收经过适配器处理的特征、基于这些特征生成相应的文本描述、应用语言知识来确保描述的连贯性和准确性。打开 ComfyUI\models\LLM，地址栏输入 CMD 回车，在命令行里面输入下面命令。 2. 下载地址： ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 准备了夸克和百度的网盘链接，方便部分同学下载： flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 3. 工作流下载： 最后我们再下载 dev 的工作流： 。或者下面官方原版的图片链接，图片导入 comfyUI 就是工作流：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。我们打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。
2025-04-08
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10
如何建立知识库
以下是建立知识库的详细步骤： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 在页面左上角点击加号，添加新的知识库。 3. 给知识库起一个易于分辨的名字。 4. 点击添加文件，建议使用 Markdown 格式的文件。 5. 等待 Flowith 对文件进行抽取等处理。 6. 处理完毕后，可在知识库管理页面测试检索。 另外，还可以通过以下方式创建知识库并上传表格数据： 1. 在页面顶部进入知识库页面，单击创建知识库。 2. 在弹出的页面配置知识库名称、描述，单击确认（团队内知识库名称需唯一）。 3. 在单元页面，单击新增单元。 4. 在弹出的页面，选择表格格式，然后选择本地文件或 API 的方式完成数据上传。 在 Coze 中创建知识库： 1. 来到个人空间，找到知识库导航栏，点击创建知识库。 2. 选择知识库的格式（目前支持文档、表格、图片），填写相关信息。 3. 可选择本地文档、自定义的文档切割等。 4. 数据处理完成后，一个问答对会被切割成一个文档片。 关于使用知识库，可参考教程：
2025-04-08
用ai建立知识库和直接使用ai有什么区别、
用 AI 建立知识库和直接使用 AI 主要有以下区别： 直接使用 AI 时，AI 生成的内容可能较为笼统模糊，就像遇到只会说“很急，今天就要”却不提供具体指导的领导。若想让 AI 成为得力助手，需对复杂任务进行拆解，提供方法论和定义输出格式。 建立知识库就如同为 AI 准备了“教科书”。知识库灵活，但偶尔会出现查不到内容而“猜题”的情况。例如，将《梦想与颠覆》卡牌等相关内容导入作为 AI 可调用的知识库，后续在创作中激活知识库，AI 会根据场景自动匹配库内素材，使输出更具针对性。 相比之下，微调类似于让 AI“自己真的学会了整本书”，答题更快更准，但训练成本高。微调适合高精度、长期任务，而知识库更适合临时查找、快速问答。
2025-03-30
如何建立个人知识库
建立个人知识库可以通过以下方式： 1. 利用 GPT 打造个人知识库： 使用 embeddings：将文本转换成向量，节省空间，可理解为索引。把大文本拆分成小文本块并转换为 embeddings 向量，保存在向量储存库中。当用户提问时，将问题转换为向量并与库中向量比对，提取关联度高的文本块与问题组合成新的 prompt 发送给 GPT API。 理解 embeddings：embeddings 是浮点数字的向量，向量间距离衡量关联性，小距离表示高关联度。 2. 本地部署大模型以及搭建个人知识库： 了解 RAG：利用大模型能力搭建知识库是 RAG 技术的应用。在大模型训练数据截止后，通过检索外部数据并在生成步骤中传递给 LLM。RAG 应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文本加载器：将用户提供的文本加载到内存中，便于后续处理。
2025-03-28
如何从0到1建立dify
从 0 到 1 建立 Dify 的步骤如下： 1. 准备数据： 收集需要纳入知识库的文本数据，包括文档、表格等格式。 对数据进行清洗、分段等预处理，确保数据质量。 2. 创建数据集： 在 Dify 中创建一个新的数据集，并将准备好的文档上传至该数据集。 为数据集编写良好的描述，描述清楚数据集包含的内容和特点。 3. 配置索引方式： Dify 提供了三种索引方式供选择：高质量模式、经济模式和 Q&A 分段模式。 根据实际需求选择合适的索引方式，如需要更高准确度可选高质量模式。 4. 集成至应用： 将创建好的数据集集成到 Dify 的对话型应用中，作为应用的上下文知识库使用。 在应用设置中，可以配置数据集的使用方式，如是否允许跨数据集搜索等。 5. 持续优化： 收集用户反馈，对知识库内容和索引方式进行持续优化和迭代。 定期更新知识库，增加新的内容以保持知识库的时效性。 Dify 有以下两种使用方式： 1. 云服务版本。直接在官网 dify.ai 上注册账号使用。 2. 部署社区版。开源，可商用，但是不能作为多租户服务使用。对个人使用完全无限制。 部署前提条件：2 核 4G 云服务器一台（约 159 元）。 部署过程： 1. 参考 https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 。 2. 这些命令在宝塔面板的终端安装。 3. 检查运行情况，如遇到问题（如 80 端口被占用），按照 AI 的方法解决。 4. 在浏览器输入公网 IP 进入，邮箱密码随便填，建立知识库并设置。 5. 选择模型，如智谱 AI，获取钥匙并复制保存。 6. 创建应用并测试发布。
2025-03-24
如何建立自己的知识库
建立自己的知识库可以参考以下几种方法： 1. 使用 flowith 指南： 拆解创作任务：将复杂任务拆解到合适颗粒度，提供方法论和定义输出格式。 建立定向知识库：将相关元知识导入 flowith 的知识花园，转化为文字上传，打开智能拆分模式，形成知识“种子”。激活知识库后，AI 会根据创作场景自动匹配库内素材，还可发布或分享知识库。 2. 基于 GPT 打造： 搭建基于 GPT API 的定制化知识库涉及给 GPT 输入定制化知识，但 GPT3.5 免费版交互容量有限。 理解 embeddings：embeddings 是浮点数字的向量，向量间距离衡量关联性，小距离表示高关联度。 3. 用 Coze 免费打造微信 AI 机器人： 设计 AI 机器人，确定功能范围。 创建知识库：整理“关键字”与“AI 相关资料链接”的对应关系，支持多种文档类型，如本地文档、在线数据、飞书文档、Notion 等，可使用特殊分割符如“”便于自动切分数据。
2025-03-20