以下是一些可用于对作为知识库的数据进行预处理的软件和方法:
1. LangchainchatGLM:对于知识库内容的组织要求较高,无需微调训练,适合有结构、界限分明的数据。可使用langchain库比对字典的关键词keys部分,找到相似度最高的相关keys对应的内容文本,送进提示词模板(prompt_template),然后送到LLM进行后处理。
2. 在检索原理方面,可通过嵌入模型(如Word2Vec、GloVe、BERT)将问题文本转化为向量,用于后续检索。例如,在商业化问答场景中,会对接收的问题进行预处理和向量化。
3. 在创建知识库并上传表格数据时,可通过API获取在线API的JSON数据上传,或手动自定义创建数据表结构和数据。需注意指定语义匹配字段,在响应用户查询时,将用户查询内容与该字段内容进行比较,根据相似度进行匹配。
2025-02-17