微调和增量训练的区别

参数规模的角度，大模型的微调分成两条技术路线：全量微调FFT(Full Fine Tuning)：对全量的模型参数，进行全量的训练。PEFT(Parameter-Efficient Fine Tuning)：只对部分模型参数进行训练。从成本和效果的角度综合考虑，PEFT是目前业界比较流行的微调方案。OpenAI官方微调教程：[https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb](https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb)微调是在较小的、特定领域的数据集上继续LLM的训练过程。这可以通过调整模型本身的参数，而不是像提示工程和RAG那样仅仅更改提示，来大幅提高模型在特定任务中的性能。把微调想象成把通用工具打磨成精密仪器。微调有两大好处：提高模型在特定任务中的性能。微调意味着你可以输入更多的示例。您可以在数以百万计的代币上进行微调，而根据上下文的大小，少量学习提示仅限于数以万计的代币。经过微调的模型可能会失去一些通用性，但对于其特定任务而言，您应该期待它有更好的表现。提高模型效率。LLM应用程序的效率意味着更低的延迟和更低的成本。实现这一优势有两种方法。通过专门化模型，您可以使用更小的模型。此外，由于只对输入输出对进行训练，而不是对完整的提示及其任何提示工程技巧和提示进行训练，因此可以舍弃示例或指令。这可以进一步改善延迟和成本。

大语言模型技术的本质导致了大模型的输出结果具有不可预测性，此外，静态的训练数据导致了大模型所掌握的知识存在截止日期，无法即时掌握最新信息。因此，当我们将大模型应用于实际业务场景时会发现，通用的基础大模型无法满足我们的实际业务需求。主要存在以下原因：知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是抓取网络公开的数据用于训练，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题：大模型的底层原理是基于数学概率的文字预测，即文字接龙。因此大模型存在幻觉问题，会在没有答案的情况下提供虚假信息，提供过时或通用的信息，从可信度低非权威来源的资料中提供结果等。数据安全性：对于企业来说，数据安全至关重要，没有企业愿意承担数据泄露的风险，将自身的私域数据上传第三方平台进行训练。因此如何大模型落地应用时如何保障企业内部数据安全是一个重要问题。而RAG是解决上述问题的一套有效方案。它可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制大模型生成的文本输出，并且用户可以深入了解LLM如何生成最终的结果。并且，RAG可以和微调结合使用，两者并不冲突。RAG类似于为模型提供教科书，允许它基于特定查询检索信息。这该方法适用于模型需要回答特定的询问或解决特定的信息检索任务。然而，RAG不适合教模型来理解广泛的领域或学习新的语言，格式或样式。微调类似于让学生通过广泛的学习内化知识。这种方法当模型需要复制特定的结构、样式或格式时非常有用。以下是RAG与微调从维度方面的比较：参考资料：《Retrieval-Augmented Generation for Large Language Models:A Survey》（https://arxiv.org/pdf/2312.10997.pdf）

这种模型通过一个叫做“扩散过程”的方法，先把数据（比如图像）变得越来越随机（加噪声），然后再通过学习如何逆转这个过程，把随机数据变回有意义的数据（去噪）。这样，模型就能从随机噪声中生成新的、逼真的图像或其他数据。类似于在一幅图像上逐渐增加模糊，然后再逐渐恢复清晰。扩散模型的概念来自于物理学中的扩散过程，最早在图像生成领域中应用。稳定扩散模型通过反复训练，学习如何在不同的噪声水平下恢复数据，从而能够生成非常逼真的图像。比如，OpenAI的DALL-E和谷歌的Imagen都是基于这种技术，能够根据文本描述生成高质量的图像。通过这种逐步去噪的过程，模型能够生成多样化且细节丰富的内容。[heading1]问题十四、提示词跟微调有什么关系？[content]提示词和微调都是用来提高模型表现的方法，但它们的方式不同。提示词是通过给模型提供特定的指令或上下文，来引导模型生成合适的回答。而微调是对模型进行进一步训练，使其在特定任务上表现得更好。1.提示词：直接在使用模型时提供，灵活方便，不需要重新训练模型。比如你问模型一个问题，它根据提示词生成回答。2.微调：需要对模型进行额外的训练，使用特定任务的数据来调整模型的参数，使其在该任务上表现更佳。微调后的模型在特定任务上会有更好的表现，但需要时间和计算资源。[heading1]问题十五、提示词的本质是什么？[content]提示词的本质就是给模型提供指令或者上下文，让它知道该怎么回应。当你给模型一个提示词时，实际上是在给它提供一个方向或者背景信息，这样模型就能根据这些信息生成相应的回答。提示词可以是一个问题、一段话或者某种情景描述甚至是专业结构化提示词，模型会根据这些内容来理解你的意图，并生成合适的回应。