以下是搭建知识库的一般步骤：
1. 准备数据
收集需要纳入知识库的文本数据，包括文档、表格等格式。
对数据进行清洗、分段等预处理，确保数据质量。
2. 创建数据集
在相关工具（如 Dify）中创建一个新的数据集，并将准备好的文档上传至该数据集。
为数据集编写良好的描述，描述清楚数据集包含的内容和特点。
3. 配置索引方式
相关工具（如 Dify）提供了多种索引方式供选择，如高质量模式、经济模式和 Q&A 分段模式。
根据实际需求选择合适的索引方式，如需要更高准确度可选高质量模式。
4. 集成至应用
将创建好的数据集集成到对话型应用中，作为应用的上下文知识库使用。
在应用设置中，可以配置数据集的使用方式，如是否允许跨数据集搜索等。
5. 持续优化
收集用户反馈，对知识库内容和索引方式进行持续优化和迭代。
定期更新知识库，增加新的内容以保持知识库的时效性。
此外，在使用 Coze 智能体机器人搭建知识库时：
手动清洗数据可提高数据准确性，如创建画小二课程的 FAQ 知识库，飞书在线文档中每个问题和答案以“”分割。
对于本地文档，注意合理拆分内容以提高训练数据准确度，按章节进行人工标注和处理。
完成后点击发布，确保在 Bot 商店中能够搜到。
在涉及本地部署大模型以及搭建个人知识库时，需要先了解 RAG 技术：
利用大模型的能力搭建知识库是 RAG 技术的应用。
RAG 应用包括文档加载、文本分割、存储（包括嵌入和向量数据存储）、检索和输出等 5 个过程。
文本加载器用于将用户提供的文本加载到内存中，便于后续处理。
2025-01-03