RAG 如何测评？

RAG三角形的评估方法可以让我们从不同的角度来检验RAG的质量和效果，从而发现和改进RAG的问题。我们可以使用TruLens来实现RAG三角形的评估方法，具体步骤如下：1.在LangChain中，创建一个RAG对象，使用RAGPromptTemplate作为提示模板，指定检索系统和知识库的参数。2.在TruLens中，创建一个TruChain对象，包装RAG对象，指定反馈函数和应用ID。反馈函数可以使用TruLens提供的f_context_relevance,f_groundness,f_answer_relevance，也可以自定义。3.使用with语句来运行RAG对象，并记录反馈数据。输入一个问题，得到一个回答，以及检索出的文档。4.查看和分析反馈数据，根据RAG三角形的评估指标，评价RAG的表现。下面是一个简单的示例，展示了如何在LangChain中使用TruLens来评估一个RAG问答应用：

传统的RAG解决方案通常会以滑动窗口的方式，每次创建256个令牌的文本片段。这使得检索更加高效，但准确性明显降低。Anthropic通过“上下文嵌入”解决了这个问题，其中提示语指示模型生成解释文档中每个段落上下文的文本。他们发现，这种方法导致前20个检索失败率的减少为35%(5.7%→3.7%)。**但RAG的评估仍待解决，**研究人员正在探索新的方法，例如Ragnarök，它通过比较一对系统，引入了一个基于网络的人类评估竞技场。这解决了评估RAG质量的挑战，超越了传统的自动化指标；同时Researchy Questions提供了大量复杂、多方面的需要深入研究和分析才能回答的问题，这些问题是来自真实用户的查询。

开发：产品视角的大模型RAG应用[heading1]一文看懂RAG：大语言模型落地应用的未来[heading2]RAG系统的评估[content]RAG（检索增强生成）系统的评估是确保其性能和效果的关键步骤。这里将介绍RAG系统的评估方法和指标，以帮助衡量其生成文本或回答的质量和相关性。以下是与RAG评估相关的一些关键概念和方法：生成质量评估：评估RAG生成的文本的质量是重要任务之一。常用的评估方法包括自动评估指标（如BLEU、ROUGE等）、人工评估和事实验证。这些方法可以帮助衡量生成文本的流畅性、准确性和相关性。检索效果评估：评估RAG检索的效果是另一个关键方面。这包括检索的准确性、召回率和效率。检索效果的好坏直接影响生成文本的质量。用户满意度评估：了解用户对RAG系统的满意度和体验也是重要的评估维度。这可以通过用户调查、用户反馈和用户交互数据来实现。多模态评估：对于生成多模态内容的RAG系统，评估方法需要考虑不同模态之间的一致性和相关性。这可以通过多模态评估指标来实现。实时性评估：对于需要实时更新的RAG任务，评估方法需要考虑信息更新的及时性和效率。基准测试集：为了进行客观的评估，通常会使用基准测试集来进行实验和比较不同的RAG系统。这些基准测试集包含了多样化的任务和查询，以涵盖不同的应用场景。评估方法和指标的选择取决于具体的任务和应用场景。综合使用多种评估方法可以更全面地了解RAG系统的性能和效果。评估结果可以指导系统的改进和优化，以满足用户的需求。