RAG研究报告有哪些

我们研究了在开发检索增强生成（RAG）系统时遇到的12个主要难题（包括原论文中的7个和我们额外发现的5个），并提出了针对每个难题的解决策略。以下图表改编自原始论文《开发检索增强生成系统时的七个常见挑战》中的图表，详见下方链接。图示改编自《开发检索增强生成系统时的七个常见挑战》。通过将这12个挑战及其建议的解决方法并列在一张表中，我们现在可以更直观地理解这些问题及其对策：论文《开发检索增强生成系统时的七个常见挑战》中提到的问题标有星号。尽管这份列表并不完整，但旨在向我们展示设计和实施RAG系统时面临的复杂挑战。我希望通过这份摘要，能够帮助读者更深入地理解这一领域，并激发开发更为强大且适用于生产环境的RAG应用的兴趣。祝编程愉快！[heading3]

在解决预训练大型语言模型（LLM）的限制，特别是它们在访问实时或特定领域信息方面的局限性方面，检索增强生成（RAG）成为一个关键创新。RAG通过动态整合外部知识，扩展了LLM，从而丰富了模型的响应，使其包含了不在初始训练数据中的更新或特定信息。RAG通过从输入提示词中制定查询，并利用这些查询从多样化的来源（如搜索引擎，见图22）或知识图（见图23）中获取相关信息。这些检索到的内容被无缝集成到LLM的工作流程中，显著增强了其生成知情和与上下文相关响应的能力。[heading3]5.1 RAG感知提示词技术[content]RAG的出现促进了旨在充分利用其能力的复杂提示词技术的发展。其中，前瞻性主动检索增强生成（FLARE）以其创新方法增强LLM性能而脱颖而出。FLARE通过预测潜在内容并使用这些预测来指导信息检索，迭代地增强LLM输出。与传统RAG模型不同，后者通常在生成之前执行单一检索步骤，FLARE参与了一个连续的、动态的检索过程，确保生成内容的每个部分都得到最相关外部信息的支持。这个过程的特点是对每个生成部分的信心水平进行评估。当信心低于预定义的阈值时，FLARE提示词LLM使用内容作为查询进行额外的信息检索，从而用更新或更相关的数据完善响应。为了全面了解RAG、FLARE及相关方法，读者被鼓励参考关于检索增强生成模型的调查，该调查提供了对其演变、应用和对LLM领域影响的深入分析[18]。

为了使对比更加具体，我们列举了一些ChatDOC展现其优势的案例。[heading3]3.2.1案例A——查询特斯拉用户手册中的具体信息[content]案例A涉及特斯拉用户手册的查询，具体查询的是有关货物体积的信息。对于这个查询，ChatDOC和Baseline模型的表现分别如图9和图10所示。这两张图展示了检索到的最相关的分块和大语言模型的答案，还展示了包含相关分块的文档页面，并高亮显示这些分块。在这个案例中，两个模型都定位到了表格，但他们提供给大语言模型的文本不同，因此答案也不同。具体而言：ChatDOC识别到表格结构，以Markdown格式解释文本（如“检索到的文本块”部分所示），这使语言模型更容易理解。Baseline模型错误地将目标表格和上面的表格合并为一个分块，且没有表格结构。因此，分块中的文本不可被理解（如“检索到的文本块”部分所示），大语言模型只能回答“没有明确提到”。图9 ChatDOC模型在特斯拉用户手册中查找信息的结果(原始文档:[6])图10 Baseline模型在特斯拉用户手册中查找信息的结果(原始文档:[6])此案例突出了ChatDOC解析方法的有效性，特别是在处理表格和以易于大语言模型理解的方式呈现表格方面。