大模型如何使用应用系统数据

原创AI小智AI小智2023-12-11 08:10发表于湖北AI大模型能够处理广泛主题的文本生成，但模型知识只能基于它们训练时使用的公开数据。如果你想构建能够利用私有数据或实时数据进行推理的AI应用，你需要用特定的信息来增强模型的知识。将相关信息检索并插入到模型的输入中，即检索增强生成（Retrieval Augmented Generation，RAG）。在本文中，我们将介绍如何使用LangChain开发一个简单的RAG问答应用。我们将依次介绍典型的问答架构，讨论相关的LangChain组件，并展示如何跟踪和理解我们的应用。[heading3]RAG的基本概念[content]RAG是一种结合了检索和生成的技术，它可以让大模型在生成文本时利用额外的数据源，从而提高生成的质量和准确性。RAG的基本流程如下：首先，给定一个用户的输入，例如一个问题或一个话题，RAG会从一个数据源中检索出与之相关的文本片段，例如网页、文档或数据库记录。这些文本片段称为上下文（context）。然后，RAG会将用户的输入和检索到的上下文拼接成一个完整的输入，传递给一个大模型，例如GPT。这个输入通常会包含一些提示（prompt），指导模型如何生成期望的输出，例如一个答案或一个摘要。最后，RAG会从大模型的输出中提取或格式化所需的信息，返回给用户。

原创AI小智AI小智2023-12-11 08:10发表于湖北AI大模型能够处理广泛主题的文本生成，但模型知识只能基于它们训练时使用的公开数据。如果你想构建能够利用私有数据或实时数据进行推理的AI应用，你需要用特定的信息来增强模型的知识。将相关信息检索并插入到模型的输入中，即检索增强生成（Retrieval Augmented Generation，RAG）。在本文中，我们将介绍如何使用LangChain开发一个简单的RAG问答应用。我们将依次介绍典型的问答架构，讨论相关的LangChain组件，并展示如何跟踪和理解我们的应用。[heading2]RAG的基本概念[content]RAG是一种结合了检索和生成的技术，它可以让大模型在生成文本时利用额外的数据源，从而提高生成的质量和准确性。RAG的基本流程如下：首先，给定一个用户的输入，例如一个问题或一个话题，RAG会从一个数据源中检索出与之相关的文本片段，例如网页、文档或数据库记录。这些文本片段称为上下文（context）。然后，RAG会将用户的输入和检索到的上下文拼接成一个完整的输入，传递给一个大模型，例如GPT。这个输入通常会包含一些提示（prompt），指导模型如何生成期望的输出，例如一个答案或一个摘要。最后，RAG会从大模型的输出中提取或格式化所需的信息，返回给用户。

首先为方便大家对大模型有一个整体的认知，我们先从大模型的整体架构着手，来看看大模型的组成是怎么样的。下面是我大致分的个层。从整体分层的角度来看，目前大模型整体架构可以分为以下几层：[heading3]1.基础层：为大模型提供硬件支撑，数据支持等[content]例如A100、数据服务器等等。[heading3]2.数据层[content]这里的数据层指的不是用于基层模型训练的数据基集，而是企业根据自己的特性，维护的垂域数据。分为静态的知识库，和动态的三方数据集[heading3]3.模型层：LLm或多模态模型[content]LLm这个大家应该都知道，large-language-model，也就是大语言模型，例如GPT，一般使用transformer算法来实现。多模态模型即市面上的文生图、图生图等的模型，训练所用的数据与llm不同，用的是图文或声音等多模态的数据集[heading3]4.平台层：模型与应用间的平台部分[content]比如大模型的评测体系，或者langchain平台等，提供模型与应用间的组成部分[heading3]5.表现层：也就是应用层，用户实际看到的地方[content]这个就很好理解了，就不用我多作解释了吧