LLM对未来的影响有哪些

此参考架构中缺少的最重要组件是AI代理框架。[AutoGPT](https://github.com/Significant-Gravitas/Auto-GPT)被描述为“使GPT-4完全自主的实验性开源尝试”，是今年春天[历史上增长最快的Github项目](https://twitter.com/OfficialLoganK/status/1647757809654562816)，实际上今天的每个AI项目或初创公司都包含某种形式的代理。与我们交谈的大多数开发人员都对代理的潜力感到非常兴奋。我们在这篇文章中描述的上下文学习模式可有效解决幻觉和数据新鲜度问题，以便更好地支持内容生成任务。另一方面，代理为人工智能应用程序提供了一组全新的功能：解决复杂的问题，解决复杂问题，对外界采取行动，以及在部署后从经验中学习。他们通过高级推理/规划、工具使用、记忆/递归/自我反思的组合来实现这一点。因此，代理有可能成为LLM应用程序架构的核心部分（如果您相信递归自我改进，甚至可以接管整个堆栈）。像LangChain这样的现有框架已经包含了一些代理概念。只有一个问题：代理还没有真正起作用。今天的大多数代理框架都处于概念验证阶段——能够进行令人难以置信的演示，但还不能可靠、可重现地完成任务。我们正在密切关注它们在不久的将来会如何发展。[heading2]展望未来[content]预训练的AI模型代表了自互联网以来软件架构的最重要的变化。他们使得个人开发者能够在几天内构建出令人难以置信的AI应用，这些应用超过了大团队花费几个月时间构建的监督机器学习项目。我们在此处列出的工具和模式可能是集成LLM的起点，而不是终点。我们将在发生重大变化时更新此信息（例如，转向模型训练）并在有意义的地方发布新的参考架构。如果您有任何反馈或建议，请联系我们。

综上所述，我认为将大型语言模型仅视为聊天机器人或单词生成器是不准确的。更恰当的比喻是，它们类似于新兴操作系统的内核进程，协调大量资源来解决问题。考虑到我所展示的信息，我们可以设想几年后的大型语言模型将如何发展。它们将能够读取和生成文本，拥有比任何个人更丰富的知识，通过检索增强生成浏览互联网或引用本地文件。它能够利用现有的软件基础架构，例如计算器、Python等。它具备查看和生成图像与视频的能力。它能够听取、发声并创作音乐。它能够利用系统2进行深入思考。在某些具备奖励机制的特定领域内，它能够自我优化。它可能能够针对许多特定任务进行定制和细微调整。或许，许多LLM专家几乎都存在于一个能够协同解决问题的应用程序商店中。因此，我发现这个新的LLM OS操作系统与当今的操作系统有许多相似之处。这有点像一个图表，它几乎看起来与当今的计算机无异。这个内存层次结构是等效的。你有可以通过浏览访问的磁盘或互联网。你拥有类似于随机存取存储器（RAM）的设备，在这种情况下，对于LLM来说，这将是它能够预测序列中下一个单词的最大单词数的上下文窗口。我在这里没有详细介绍，但这个上下文窗口是你的语言模型工作记忆的有限而宝贵的资源。你可以想象内核进程（即这个LLM）尝试将相关信息调入和调出其上下文窗口以执行你的任务。我认为还存在许多其他的联系。我认为多线程、多处理、推测执行在这里是等效的。在上下文窗口的随机存取存储器中，用户空间和内核空间是等效的，以及我没有完全涵盖的当今操作系统的许多其他等效项。

一、引子LLM技术为AI届带来了曙光与激情，经过这一年多的风起云涌，逐步的从demo向落地阶段进发，国内大模型也都在逐步的追上GPT-3.5，当达到GPT3.5的模型推理与知识储备后，在各个业务场景中落地的实用性就会大大提升了。但是从反方向来讲，当前大部分应用都是雷声大雨点小，也有部分原因是大家都处于探索阶段，还没有完成初期的验证来确定方向加强投入。通过对网上各个应用的检索梳理体验，以及对LLM技术文章的一些学习，整理了一下对LLM技术的落地分析。产业届落地的同时，面向普通人的AI应用也在不断的涌现，向妙鸭、全民舞王、哄哄模拟、kimi等产品在逐渐向大众普及。预计未来的几年，LLM带来的变革也会慢慢的进入每个人的生活中。本文章还是先从业务视角去写，今后打算也去分析一下普通人和孩子教育应该如何在未来使用LLM，比如如何帮老婆写论文~~二、LLM技术的应用分析LLM在chatgpt出现后，让每个人都对AGI的到来充满了期许，但是LLM目前还并不是万能的（推理上还存在较大的提升空间，训练学习效率也明显不高），且与LLM搭配来实现AGI的视觉（sd、sora等）、触觉（IOT技术、ML）都还没有成熟。而且还有一个更大的问题等待解决，就是LLM这种由数据驱动的概率模型，和由第一性原理建立的数理模型，这两者究竟哪一种才可以更好的模拟世界，以及两者能否有一种很好的融合方式来共同模拟世界。在当前这个时间点，讨论落地或许还稍显幼稚，毕竟AGI的逐步推进会附带将前面的落地方案步步推翻，不过这也算是技术发展的必经之路，从幼稚中逐步萌芽茁壮。下面会从三个方面进行一些应用的分析：自然语言、ToB、ToC1、自然语言