AI 的回答通常来自以下过程:
1. 知识库检索部分:
将输入的问题通过 Embedding 做向量化。
使用语言模型对问题进行优化,并添加接近的检索词。
进行知识库向量检索,抽取条件包含相似度 0.85,最终抽取 11 个内容块(chunk)。
2. 大模型对话部分:
将问题解析、知识库检索到的信息一起传递给大语言模型(LLM),最终得到 AI 的回答。
整个问答流程包括问题解析阶段、知识库检索阶段、信息整合阶段和大模型生成回答阶段。若要优化回答结果,可从这些环节入手。
此外,RAG(RetrievalAugmented Generation,检索增强生成)是一种结合信息检索和文本生成能力的技术,由检索器和生成器组成。检索器从外部知识中快速找到与问题相关的信息,生成器利用这些信息制作精确连贯的答案,适合处理需要广泛知识的任务,如问答系统。
在生成式 AI Studio 中,每次向模型发送请求时都会应用上下文。例如,可定义场景并告诉 AI 如何响应查询,还能通过调参数和设计提示来影响回答。同时,Google 提供了 API 和 SDK 帮助构建应用程序。对于大型语言模型,可通过调整来提高响应质量。提示是传递给模型的文本输入,及时的设计允许快速试验和定制,但制作提示可能存在措辞或词序影响结果等问题。
2024-11-13