向 AI 大模型正确提问可以参考以下方法:
1. 对于利用 Embedding 技术增强 GPT 能力的过程,OpenAI 发布的相关文档指出,可通过两步搜索来实现。具体步骤包括:
准备搜索数据(仅一次):
搜集数据:获取需要的数据,包括公开数据或者私有的数据。
切块:将文档切分成短小的部分。
嵌入:通过 OpenAI API 对切块的数据进行 Embedding 结果。
存储:存储 Embedding 结果,对于大型数据集的 Embedding 结果,可以使用向量数据库进行保存。
搜索(每次查询一次):给定用户问题,从 OpenAI API 生成查询的 embeddings,使用 embeddings 按照与查询相关性对文本部分进行排序,推荐使用余弦相似性作为距离函数。
提问(每次查询一次):将问题和最相关的部分插入到发送给 GPT 的消息中返回 GPT 的答案。
2. Embedding 具有多种作用,如搜索(其中结果按与查询字符串的相关性进行排名)、聚类(其中文本字符串按相似性分组)、建议(建议包含相关文本字符串的项目)、异常检测(识别出相关性很小的离群值)、多样性测量(分析相似性分布)、分类(其中文本字符串按其最相似的标签分类)。
3. 关于 RAG(检索增强生成),它是一种结合了检索和生成的技术,可以让大模型在生成文本时利用额外的数据源,从而提高生成的质量和准确性。其基本流程如下:
首先,给定一个用户的输入,例如一个问题或一个话题,RAG 会从一个数据源中检索出与之相关的文本片段,例如网页、文档或数据库记录,这些文本片段称为上下文。
然后,RAG 会将用户的输入和检索到的上下文拼接成一个完整的输入,传递给一个大模型,例如 GPT。这个输入通常会包含一些提示,指导模型如何生成期望的输出,例如一个答案或一个摘要。
最后,RAG 会从大模型的输出中提取或格式化所需的信息,返回给用户。如果您想构建能够利用私有数据或实时数据进行推理的 AI 应用,需要用特定的信息来增强模型的知识,将相关信息检索并插入到模型的输入中。
2025-02-24