AI记忆能力的应用案例

如果未来结合持久化KV Cache、KV Cache的压缩技术,把成本可以控制在一个相对较低的水平。那么，通过记录下所有对话的历史以及AI当时的思考过程和情绪状态，我们就有可能打造出一个记忆力超越人类的智能体。这样的智能体不仅能够回忆起更多详细信息，还能在提供服务时展现出更高级别的个性化和情感连贯性。延申阅读：EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS（https://arxiv.org/pdf/2309.17453）总结：首先是文本总结，这是一种直观且广泛使用的方法。通过将长篇聊天记录或文档简化成几句关键描述，文本总结不仅提高了信息检索的效率，还使得内容更易于理解和记忆。这种方式在商业报告、新闻摘要等多个领域都有广泛应用。进一步地，随着技术的发展，外部存储访问方法开始受到关注。例如UC Berkeley的MemGPT项目就是一个典型例子。这种方法通过特定指令访问外部存储系统来保存和回调信息，极大地扩展了模型的记忆能力，并增强了其上下文理解能力。这样的技术使得AI可以在连续的对话中保持信息的连贯性，并根据历史交互调整其响应。图4.2.2 MemGPT整体架构图

与麦洛薇对话时，对于她不知道的信息，她会加以学习，所谓学习，就是将用户信息抽取出实体和关系，存入知识图谱中。通过只返回最近的对话轮次到上下文中，就可以保证不会因为上下文窗口不足而溢出，又因为有知识图谱的加入，保证了被丢弃的记忆可以从知识图谱这一永久记忆中提取出来。当我将我的名字以及关于我的信息告知麦洛薇时，麦洛薇就会修改知识图谱，真正的记住了我说的话。可以看到本地的json文件里已经多了一条关于ailm相关的信息。完美地实现了永久记忆的功能。

类似地，ChatGPT最新版本引入了记忆功能，它可以将对话中的重点内容记录在一个名为“bio”的小本子上。这种内置记忆机制使得ChatGPT能够在后续对话中利用之前的交流内容来提供更加个性化和相关性更强的回答。延伸阅读：MemGPT:Towards LLMs as Operating Systems(https://arxiv.org/pdf/2310.08560)此外，在学术界，还有一种探索模型层面使用embedding进行信息总结的研究方向。虽然目前这种方法主要局限于研究阶段，并且实用性可能不如其他已经商业化运用的技术那么高，但它代表了深入挖掘AI处理和理解复杂信息能力的未来趋势。RAG：RAG是大家比较熟悉的架构了，RAG通过搜索相关信息片段并将这些结果融入到大模型的上下文中，从而帮助模型更准确地回答问题。但是，RAG的存储手段可并非向量库那么简单。单纯依赖向量数据库进行大规模语料库的信息检索往往面临匹配准确率低的问题。向量数据库优秀于处理语义匹配问题，即通过计算文本之间的向量距离来找出含义相近的内容。然而，在需要精确匹配具体细节时，仅靠语义匹配可能不够精确。这时候，传统基于关键词的检索方法如BM25等就显得更为适用。