以下是创建本地知识库的相关内容:
一、使用 AnythingLLM 软件
如果想要对知识库进行更加灵活的掌控,需要使用 AnythingLLM 软件。它包含了所有 Open WebUI 的能力,并额外支持选择文本嵌入模型和向量数据库。
安装地址:https://useanything.com/download
安装完成后,进入配置页面,主要分为三步:
在 AnythingLLM 中,有 Workspace 的概念,可以创建自己独有的 Workspace 与其他项目数据隔离。创建本地知识库的步骤如下:
二、上传文本内容
在文本格式页签下,选择本地文档,然后单击下一步。将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档。目前支持上传.txt、.pdf、.docx 格式的文件内容,每个文件不得大于 20M,一次最多可上传 10 个文件。上传完成后单击下一步,选择内容分段方式:
三、上传表格数据
在表格格式页签下,选择本地文档,然后单击下一步。将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档,然后单击下一步。目前支持上传.csv 和.xlsx 格式的文件内容,且表格内需要有列名和对应的数据。每个文件不得大于 20M,一次最多可上传 10 个文件。配置数据表信息,包括指定数据范围(通过选择数据表、表头、数据起始行指定数据范围)、确认表结构(系统已默认获取表头的列名,可自定义修改列名或删除某一列名)、指定语义匹配字段(选择哪个字段作为搜索匹配的语义字段,在响应用户查询时,会将用户查询内容与该字段内容进行比较,根据相似度进行匹配)。查看表结构和数据,确认无误后单击下一步,完成上传后,单击确定。
如果想要对知识库进行更加灵活的掌控,我们需要一个额外的软件:AnythingLLM。这个软件包含了所有Open WebUI的能力,并且额外支持了以下能力选择文本嵌入模型选择向量数据库[heading2]AnythingLLM安装和配置[content]安装地址:https://useanything.com/download当我们安装完成之后,会进入到其配置页面,这里面主要分为三步1.第一步:选择大模型1.第二步:选择文本嵌入模型1.第三步:选择向量数据库[heading2]构建本地知识库[content]AnythingLLM中有一个Workspace的概念,我们可以创建自己独有的Workspace跟其他的项目数据进行隔离。1.首先创建一个工作空间1.上传文档并且在工作空间中进行文本嵌入1.选择对话模式AnythingLLM提供了两种对话模式:Chat模式:大模型会根据自己的训练数据和我们上传的文档数据综合给出答案Query模式:大模型仅仅会依靠文档中的数据给出答案1.测试对话当上述配置完成之后,我们就可以跟大模型进行对话了[heading1]六、写在最后[content]我非常推崇的一句话送给大家:看十遍不如实操一遍,实操十遍不如分享一遍如果你也对AI Agent技术感兴趣,可以联系我或者加我的免费知识星球(备注AGI知识库)
[title]创建并使用知识库[heading1]创建知识库并上传文本内容|上传方式|操作步骤|<br>|-|-|<br>|本地文档|1.在文本格式页签下,选择本地文档,然后单击下一步。2.将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档。目前支持上传.txt,.pdf,.docx格式的文件内容。每个文件不得大于20M。一次最多可上传10个文件1.当上传完成后单击下一步。2.选择内容分段方式:2.1.自动分段与清洗:系统会对上传的文件数据进行自动分段,并会按照系统默认的预处理规则处理数据。2.2.自定义:手动设置分段规则和预处理规则。分段标识符:选择符合实际所需的标识符。分段最大长度:设置每个片段内的字符数上限。文本预处理规则:替换掉连续的空格、换行符和制表符删除所有URL和电子邮箱地址1.单击下一步完成内容上传和分片。|
[title]创建并使用知识库[heading1]创建知识库并上传表格数据|上传方式|操作步骤|<br>|-|-|<br>|本地文档|选择将本地文件中的表格数据上传至知识库中。1.在表格格式页签下,选择本地文档,然后单击下一步。2.将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档,然后单击下一步。目前支持上传.csv和.xlsx格式的文件内容,且表格内需要有列名和对应的数据。每个文件不得大于20M。一次最多可上传10个文件。1.配置数据表信息后,单击下一步。1.1.指定数据范围:通过选择数据表、表头、数据起始行指定数据范围。1.2.确认表结构:系统已默认获取了表头的列名,你可以自定义修改列名,或删除某一列名。1.3.指定语义匹配字段:选择哪个字段作为搜索匹配的语义字段。在响应用户查询时,会将用户查询内容与该字段内容的内容进行比较,根据相似度进行匹配。2.查看表结构和数据,确认无误后单击下一步。3.完成上传后,单击确定。|