Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LLM 和 AI Agent的区别

Answer

LLM(大型语言模型)和 AI Agent(人工智能智能体)存在以下区别:

LLM 主要侧重于语言的理解和生成,具有强大的语言处理能力。它们在大规模语料库上进行预训练,能够通过少量样本展现出泛化能力。然而,其缺点是计算资源消耗大,可能存在偏见和误解。

AI Agent 则为人工智能应用程序提供了全新的功能,包括解决复杂问题、对外界采取行动以及在部署后从经验中学习。它们通过高级推理/规划、工具使用、记忆/递归/自我反思的组合来实现这些功能。AI Agent 能够进行令人难以置信的演示,但目前大多数框架仍处于概念验证阶段,还不能可靠、可重现地完成任务。

基于 LLM 的 AI Agent 以 LLM 置于“大脑”或“控制器”的核心位置,赋予强大的语言理解和生成能力。为扩展感知和行动范围,采用多模态感知技术和工具利用策略,能理解和响应多种类型输入,并与环境有效互动。通过思维链和问题分解技术展现出推理和规划能力,还能从反馈中学习并执行新行动,表现出类似反应式 Agent 的特性。其已在软件开发、科学研究等现实场景中应用,能利用自然语言理解和生成能力与其他 Agent 交流协作。特点是基于大规模神经网络,特别是 Transformer 架构,技术上有 Llama、GPT 等预训练大型语言模型,优点是强大的语言理解、生成和对话能力,缺点是计算资源消耗大,可能存在偏见和误解。

Content generated by AI large model, please carefully verify (powered by aily)

References

LLM 应用程序的新兴架构

此参考架构中缺少的最重要组件是AI代理框架。[AutoGPT](https://github.com/Significant-Gravitas/Auto-GPT)被描述为“使GPT-4完全自主的实验性开源尝试”,是今年春天[历史上增长最快的Github项目](https://twitter.com/OfficialLoganK/status/1647757809654562816),实际上今天的每个AI项目或初创公司都包含某种形式的代理。与我们交谈的大多数开发人员都对代理的潜力感到非常兴奋。我们在这篇文章中描述的上下文学习模式可有效解决幻觉和数据新鲜度问题,以便更好地支持内容生成任务。另一方面,代理为人工智能应用程序提供了一组全新的功能:解决复杂的问题,解决复杂问题,对外界采取行动,以及在部署后从经验中学习。他们通过高级推理/规划、工具使用、记忆/递归/自我反思的组合来实现这一点。因此,代理有可能成为LLM应用程序架构的核心部分(如果您相信递归自我改进,甚至可以接管整个堆栈)。像LangChain这样的现有框架已经包含了一些代理概念。只有一个问题:代理还没有真正起作用。今天的大多数代理框架都处于概念验证阶段——能够进行令人难以置信的演示,但还不能可靠、可重现地完成任务。我们正在密切关注它们在不久的将来会如何发展。[heading2]展望未来[content]预训练的AI模型代表了自互联网以来软件架构的最重要的变化。他们使得个人开发者能够在几天内构建出令人难以置信的AI应用,这些应用超过了大团队花费几个月时间构建的监督机器学习项目。我们在此处列出的工具和模式可能是集成LLM的起点,而不是终点。我们将在发生重大变化时更新此信息(例如,转向模型训练)并在有意义的地方发布新的参考架构。如果您有任何反馈或建议,请联系我们。

AI-Agent系列(一):智能体起源探究

大型语言模型(LLM)以其令人瞩目的新能力,赢得了业界的广泛关注和赞誉,激发了研究人员探索其在构建人工智能Agent方面的潜力。这些模型被巧妙地置于Agent的"大脑"或"控制器"的核心位置,赋予它们强大的语言理解和生成能力。为了进一步扩展这些Agent的感知和行动范围,研究人员采用了多模态感知技术和工具利用策略,使Agent能够理解和响应多种类型的输入,并有效地与环境互动。通过思维链(Chain of Thought)和问题分解技术,这些基于LLM的Agent展现出了与符号主义Agent相媲美的推理和规划能力。这些Agent还能够通过从反馈中学习,并执行新的行动来与环境互动,表现出类似反应式Agent的特性。它们在大规模语料库上进行预训练,并通过少量样本展现出泛化能力,这使得它们能够在不同任务之间实现无缝转移,而无需更新模型参数。基于LLM的Agent已经在软件开发、科学研究等现实世界场景中得到应用。它们利用自然语言理解和生成的能力,能够与其他Agent进行无缝的交流和协作,甚至在竞争中也能发挥重要作用。时间:21世纪10年代至今特点:基于大规模神经网络,特别是Transformer架构技术:Llama,GPT等预训练大型语言模型优点:强大的语言理解,生成和对话能力缺点:计算资源消耗大,可能存在偏见和误解

AI-Agent系列(一):智能体起源探究

大型语言模型(LLM)以其令人瞩目的新能力,赢得了业界的广泛关注和赞誉,激发了研究人员探索其在构建人工智能Agent方面的潜力。这些模型被巧妙地置于Agent的"大脑"或"控制器"的核心位置,赋予它们强大的语言理解和生成能力。为了进一步扩展这些Agent的感知和行动范围,研究人员采用了多模态感知技术和工具利用策略,使Agent能够理解和响应多种类型的输入,并有效地与环境互动。通过思维链(Chain of Thought)和问题分解技术,这些基于LLM的Agent展现出了与符号主义Agent相媲美的推理和规划能力。这些Agent还能够通过从反馈中学习,并执行新的行动来与环境互动,表现出类似反应式Agent的特性。它们在大规模语料库上进行预训练,并通过少量样本展现出泛化能力,这使得它们能够在不同任务之间实现无缝转移,而无需更新模型参数。基于LLM的Agent已经在软件开发、科学研究等现实世界场景中得到应用。它们利用自然语言理解和生成的能力,能够与其他Agent进行无缝的交流和协作,甚至在竞争中也能发挥重要作用。时间:21世纪10年代至今特点:基于大规模神经网络,特别是Transformer架构技术:Llama,GPT等预训练大型语言模型优点:强大的语言理解,生成和对话能力缺点:计算资源消耗大,可能存在偏见和误解

Others are asking
如何让企业微信可以接上 AI?让我的企业微信号变成一个 AI 客服
要让企业微信接上 AI 并变成一个 AI 客服,可以参考以下内容: 1. 基于 COW 框架的 ChatBot 实现方案:这是一个基于大模型搭建的 Chat 机器人框架,可以将多模型塞进微信(包括企业微信)里。张梦飞同学写了更适合小白的使用教程,链接为: 。 可以实现打造属于自己的 ChatBot,包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能,以及常用开源插件的安装应用。 正式开始前需要知道:本实现思路需要接入大模型 API 的方式实现(API 单独付费)。 风险与注意事项:微信端因为是非常规使用,会有封号危险,不建议主力微信号接入;只探讨操作步骤,请依法合规使用,大模型生成的内容注意甄别,确保所有操作均符合相关法律法规的要求,禁止将此操作用于任何非法目的,处理敏感或个人隐私数据时注意脱敏,以防任何可能的滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等;多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等;多消息类型支持,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能;多部署方法,如本地运行、服务器运行、Docker 的方式。 2. DIN 配置:先配置 FastGpt、OneAPI,装上 AI 的大脑后,可体验知识库功能并与 AI 对话。新建应用,在知识库菜单新建知识库,上传文件或写入信息,最后将拥有知识库能力的 AI 助手接入微信。
2025-05-09
围棋AI
围棋 AI 领域具有重要的研究价值和突破。在古老的围棋游戏中,AI 面临着巨大挑战,如搜索空间大、棋面评估难等。DeepMind 团队通过提出全新方法,利用价值网络评估棋面优劣,策略网络选择最佳落子,且两个网络以人类高手对弈和 AI 自我博弈数据为基础训练,达到蒙特卡洛树搜索水平,并将其与蒙特卡洛树搜索有机结合,取得了前所未有的突破。在复杂领域 AI 第一次战胜人类的神来之笔 37 步,也预示着在其他复杂领域 AI 与人类智能对比的进一步突破可能。此外,神经网络在处理未知规则方面具有优势,虽然传统方法在处理象棋问题上可行,但对于围棋则困难重重,而神经网络专门应对此类未知规则情况。关于这部分内容,推荐阅读《这就是 ChatGPT》一书,其作者备受推崇,美团技术学院院长刘江老师的导读序也有助于了解 AI 和大语言模型计算路线的发展。
2025-05-08
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容: 1. Coze:支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容,可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时,输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序,标注要采集的内容,内容上传成功率高。 2. AI Share Card:能够一键解析各类网页内容,生成推荐文案,把分享链接转换为精美的二维码分享卡。通过用户浏览器,以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频(文生视频)的相关信息: 一些提供文生视频功能的产品: Pika:擅长动画制作,支持视频编辑。 SVD:Stable Diffusion 的插件,可在图片基础上生成视频。 Runway:老牌工具,提供实时涂抹修改视频功能,但收费。 Kaiber:视频转视频 AI,能将原视频转换成各种风格。 Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多相关网站可查看:https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤(以梦 AI 为例): 进入平台:打开梦 AI 网站并登录,新用户有积分可免费体验。 输入提示词:涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成:确认提示词无误后,选择模型、画面比例,点击「生成」按钮。 预览与下载:生成完毕后预览视频,满意则下载保存,不理想可调整提示词再试。 视频模型 Sora:OpenAI 发布的首款文生视频模型,能根据文字指令创造逼真且充满想象力的场景,可生成长达 1 分钟的一镜到底超长视频,视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
学AI上钉钉
以下是在钉钉上学 AI 的相关内容: 从 AI 助教到智慧学伴的应用探索: 登录钉钉客户端,在右上角依次选择钉钉魔法棒、AI 助理、创建 AI 助理。进入创建 AI 助理页面后,填写 AI 助理信息,设置完成即可创建成功。 AI 领导力向阳乔木:未提及具体的在钉钉上学 AI 的操作方法。 基于 COW 框架的 ChatBot 实现步骤: 创建应用: 进入,登录后点击创建应用,填写应用相关信息。 点击添加应用能力,选择“机器人”能力并添加。 配置机器人信息后点击发布,发布后点击“点击调试”,会自动创建测试群聊,可在客户端查看。点击版本管理与发布,创建新版本发布。 项目配置: 点击凭证与基础信息,获取 Client ID 和 Client Secret 两个参数。 参考项目,将相关配置加入项目根目录的 config.json 文件,并设置 channel_type:"dingtalk",注意运行前需安装依赖。 点击事件订阅,点击已完成接入,验证连接通道,会显示连接接入成功。 使用:与机器人私聊或将机器人拉入企业群中均可开启对话。
2025-04-19
AI术语解释
以下是一些常见的 AI 术语解释: Agents(智能体):一个设置了一些目标或任务,可以迭代运行的大型语言模型。与大型语言模型在像 ChatGPT 这样的工具中的通常使用方式不同,Agent 拥有复杂的工作流程,模型本质上可以自我对话,无需人类驱动每一部分的交互。属于技术范畴。 ASI(人工超级智能):尽管存在争议,但通常被定义为超越人类思维能力的人工智能。属于通识范畴。 Attention(注意力):在神经网络的上下文中,有助于模型在生成输出时专注于输入的相关部分。属于技术范畴。 Bias(偏差):AI 模型对数据所做的假设。“偏差方差权衡”是模型对数据的假设与给定不同训练数据的模型预测变化量之间必须实现的平衡。归纳偏差是机器学习算法对数据的基础分布所做的一组假设。属于技术范畴。 Chatbot(聊天机器人):一种计算机程序,旨在通过文本或语音交互模拟人类对话。通常利用自然语言处理技术来理解用户输入并提供相关响应。属于通识范畴。 CLIP(对比语言图像预训练):由 OpenAI 开发的 AI 模型,用于连接图像和文本,使其能够理解和生成图像的描述。属于技术范畴。 TPU(张量处理单元):谷歌开发的一种微处理器,专门用于加速机器学习工作负载。属于技术范畴。 Training Data(训练数据):用于训练机器学习模型的数据集。属于技术范畴。 Transfer Learning(迁移学习):机器学习中的一种方法,其中对新问题使用预先训练的模型。属于技术范畴。 Validation Data(验证集):机器学习中使用的数据集的子集,独立于训练数据集和测试数据集。用于调整模型的超参数(即架构,而不是权重)。属于技术范畴。 Knowledge Distillation(数据蒸馏):数据蒸馏旨在将给定的一个原始的大数据集浓缩并生成一个小型数据集,使得在这一小数据集上训练出的模型,和在原数据集上训练得到的模型表现相似。在深度学习领域中被广泛应用,特别是在模型压缩和模型部署方面。可以帮助将复杂的模型转化为更轻量级的模型,并能够促进模型的迁移学习和模型集成,提高模型的鲁棒性和泛化能力。属于技术范畴。 RAG(检索增强生成):检索增强生成。属于技术范畴。 Forward Propagation(前向传播):在神经网络中,输入数据被馈送到网络并通过每一层(从输入层到隐藏层,最后到输出层)以产生输出的过程。网络对输入应用权重和偏差,并使用激活函数生成最终输出。属于技术范畴。 Foundation Model(基础模型):在广泛数据上训练的大型 AI 模型,旨在适应特定任务。属于技术范畴。 GAN(通用对抗网络):一种机器学习模型,用于生成类似于某些现有数据的新数据。使两个神经网络相互对抗:一个“生成器”,创建新数据,另一个“鉴别器”试图将数据与真实数据区分开来。属于技术范畴。 Generative AI/Gen AI(生成式 AI):AI 的一个分支,专注于创建模型,这些模型可以根据现有数据的模式和示例生成新的原创内容,例如图像、音乐或文本。属于通识范畴。 GPU(图形处理单元):一种特殊类型的微处理器,主要用于快速渲染图像以输出到显示器。在执行训练和运行神经网络所需的计算方面也非常高效。属于产品范畴。
2025-04-18
AI Agents(智能体)
AI 智能体(Agents)是人工智能领域中一个重要的概念: 1. 从 AGI 的发展等级来看,智能体不仅具备推理能力,还能执行全自动化业务,但目前许多 AI Agent 产品在执行任务后仍需人类参与,尚未达到完全智能体的水平。 2. 作为大模型的主要发展方向之一,智能体中间的“智能体”其实就是大模型(LLM)。通过为 LLM 增加工具、记忆、行动、规划这四个能力来实现。目前行业里主要用到的是 langchain 框架,它把 LLM 与 LLM 之间以及 LLM 与工具之间通过代码或 prompt 的形式进行串接。 3. 从智能体的起源探究来看,心灵社会理论认为智能是由许多简单的 Agent(分等级、分功能的计算单元)共同工作和相互作用的结果。这些 Agent 在不同层次上执行不同的功能,通过协作实现复杂的智能行为。心灵社会将智能划分为多个层次,每个层次由多个 Agent 负责,每个 Agent 类似于功能模块,专门处理特定类型的信息或执行特定任务。同时存在专家 Agent、管理 Agent、学习 Agent 等不同类型的 Agent 及其相应功能。从达特茅斯会议开始讨论人工智能,到马文·明斯基引入“Agent”概念,“AI”和“Agent”就彻底聚齐,往后被称之为 AI Agent。
2025-04-15
B端AI Agent
以下是关于 B 端 AI Agent 的相关知识: 一、概念定义 1. 智能体(Agent)简单理解就是 AI 机器人小助手,参照移动互联网,类似 APP 应用的概念。随着 ChatGPT 与 AI 概念的爆火,出现了很多相关新名词,如 bot 和 GPTs 等。AI 大模型是技术,面向用户提供服务的是产品,因此很多公司关注 AI 应用层的产品机会。 C 端案例:如社交方向,用户注册后先捏一个自己的 Agent,然后让其与他人的 Agent 聊天,两个 Agent 聊到一起后真人再介入;还有借 Onlyfans 入局打造个性化聊天的创业公司。 B 端案例:字节扣子和腾讯元器若为面向普通人的低代码平台,类似 APP 时代的个人开发者,那么帮助 B 端商家搭建 Agent 就类似 APP 时代专业做 APP 的。 2. 智能体开发平台:最早接触到的扣子 Coze 是通过一篇科技报道,如 2 月 1 日,字节正式推出 AI 聊天机器人构建平台 Coze 的国内版“扣子”,主要用于开发下一代 AI 聊天机器人。国内还有很多智能体开发平台,如 Dify.AI,但个人较常用的是扣子,所以常对比字节扣子和腾讯元器。 3. 关注智能体的原因:目前 AI Agent 的概念在市场上未达成共识,存在被滥用现象。AI Agent 指的是一种智能代理系统,接近人类大脑,可形成记忆、达成行动规划、自动交互、主动预测。其应用具有个性化、自主完成任务、多 Agent 协作等特点。目前 AI Agent 应用大多集中在 2B 场景,面向个人消费者的产品少,一方面是高度智能化的 Agent 能力需打磨,概念落地有距离;另一方面是 AI 和娱乐消费诉求结合少,主要带来生产方式和效率变革,个人消费者方向目前只看到“私人助理”场景。
2025-04-15
AI workflow在企业中是否比Agent应用价值和场景更多
AI workflow 和 Agent 在企业中的应用价值和场景各有特点。 Agentic Workflows 具有以下优势: 1. 灵活性、适应性和可定制性:能够根据任务难度进行调整和演变,通过组合不同模式实现定制,在需求和复杂性增长时进行迭代升级。 2. 在复杂任务上的性能提升:将复杂任务分解为更小、可管理的步骤,显著优于确定性的零样本方法。 3. 自我纠正和持续学习:能够评估自身行为,完善策略,从过去经验中学习,在每次迭代中变得更有效和个性化。 4. 操作效率和可扩展性:可以高精度自动化重复任务,减少人工操作和运营成本,还能轻松扩展。 Agentic Workflow 的应用场景包括原子设计模式的组合、与人类反馈循环集成等。例如,Agentic RAG 在检索增强生成流程中引入了一个或多个 AI Agents,在规划阶段可进行查询分解等操作,还能评估数据和响应的相关性和准确性。 一般来说,Workflow 是一系列旨在完成特定任务或目标的相互连接的步骤。最简单的工作流是确定性的,遵循预定义步骤序列。有些工作流利用大模型或其他 AI 技术,分为 Agentic 和非 Agentic 两类。非 Agentic 工作流中,大模型根据指令生成输出。Agentic Workflow 是由单个或几个 AI Agents 动态执行的一系列连接步骤,被授予权限收集数据、执行任务并做出决策,利用 Agents 的核心组件将传统工作流转变为响应式、自适应和自我进化的过程。 综上所述,不能简单地说 AI workflow 在企业中比 Agent 应用价值和场景更多,这取决于企业的具体需求和任务特点。
2025-04-09
常见的工作流与 Agent 开发平台
常见的工作流与 Agent 开发平台如下: AI Workflow 开发平台: Coze:新一代 AI Bot 开发平台,集成了丰富的插件工具,有国际版和国内版。 Dify:开源平台,支持自定义和插件。 腾讯元器。 FastGPT:国内知名,支持自定义流程。 影刀&zapier。 Leap。 Betteryeah:立足 RPA 场景,用 AI 将用户需求生成工作流,并通过 RPA 自动化,产品形态与 Coze 相似,是企业级的 AI 应用开发平台。 Flowise:快速实现智能体搭建。 BISHENG:主攻 tob 场景的开源 LLM 搭建平台,与 fastgpt 功能类似,但面向的客户不同,整体功能和部署成本更重。 Agent 构建平台: Coze:具有拓展强、好上手、不用出国等优点。 Mircosoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 文心智能体:百度推出的基于文心大模型的智能体平台。 MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行设计良好的工作流。 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等多种场景。 钉钉 AI 超级助理:依托于钉钉强大的场景和数据优势,提供更深入的环境感知和记忆功能,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 此外,Inhai 的 Agentic Workflow 将一整套工作流组合起来,每个工具在每一个节点执行一个任务。LangGPT 提示词框架应用了 CoT 完成从输入到思维链再到输出的映射。
2025-04-09
多模态Agent最新动态
以下是关于多模态 Agent 的最新动态: 《质朴发言:视觉语言理解模型的当前技术边界与未来应用想象|Z 研究第 2 期》 近期,生成式 AI 领域的浪潮催化了多模态模型的探索,研究人员不断尝试使用更多模态数据的编码,以训练出能够理解和处理多种类型数据的模型。本份研究报告集中讨论了基于 Transformer 架构的视觉语言模型,报告范围专注于视觉和语言之间的交互,不考虑单纯的视觉到视觉的计算机视觉任务。 从 2022 年 11 月 18 日到 2023 年 7 月 26 日,多模态 Agents 迅速增长。 LLM 多模态 agent 是将现有技术融合的新尝试,是一种集成了多种模态数据处理能力的 AI 技术。 优点:高度的灵活性和扩展性,可根据不同任务需求调用最合适的模型处理任务,适应多样化任务和数据类型,优化资源使用,提升效率;无需训练,系统开发周期快,成本低。 局限性:调试和工程化难度较高,维护和升级成本高;多个组件紧密耦合,单点故障可能导致整个系统风险增加;没有涌现出新的能力。 适用场景:需要综合处理视频、语音和文本等多种信息的复杂环境,如自动驾驶汽车;高度交互和灵活的用户界面,如客户服务机器人或交互式娱乐应用。 《2024 年度 AI 十大趋势报告》 随着大模型对图像和视频信息的处理能力快速提升,预计 2025 年将开始出现更为综合性的多模态交互,AI 能够通过物联网、特定信息等多种感知通道进行协同。 多模态输入和输出使 AI 交互性更强、交互频次更高,适用场景也更加丰富,AI 产品整体水平显著提升。 Agent 作为融合感知、分析、决策和执行能力的智能体,能够根据用户历史行为和偏好,主动提供建议、提醒并个性化执行能力,为用户提供高度个性化的任务。从 2025 年开始,AI Agent 即将广泛投入使用。 从个性化推荐到直接生成个性化内容,AIGC 能够使用户体验的个性化程度有明显提升,这将帮助产品进一步完善用户体验,并通过提高用户忠诚度和迁移成本,实现差异化定价和进一步的服务增值,对产品的差异化竞争有重大意义。目前,基于 AIGC 的高度个性化已经在 AI 教育、AI 陪伴、AI 营销领域有明显进展。在硬件端搭载的多款 AI 智能助手也已开始以高度个性的个人助理作为宣传重点。
2025-03-31
目前最好的AI Agent是哪一款
目前,在 AI Agent 领域,没有绝对意义上的“最好”的一款。以下为您介绍一些受到关注的 AI Agent: 1. AutoGPT 和 BabyAGI 是最早实现让 LLM 自己做自动化多步骤推理的开源智能代理,在去年 GPT4 刚发布时风靡全球科技圈。 2. Devin 是来自纽约华人创业团队 Cognition AI 的一款可以像人类程序员一样自动写代码的 Agent,但因演示视频过于科幻而被揭露造假。 3. Google 在今年的 Next 与 I/O 大会上发布了自己的 Agent 战略,如 Google Plan Search 能自动化多步骤执行搜索任务。 4. Cursor 中的 Agent 功能,只要给它一个模糊指令,它会自动规划和解决问题。Cline 作为一个 AI 助手,也有一定的能力,其新版本还推出了检查点功能。 需要注意的是,AI Agent 领域在不断发展,不同的 Agent 在不同的应用场景和任务中可能表现出不同的优势。
2025-03-30
LLM应用可观测性
LLM 应用的可观测性主要体现在以下方面: LangChain:借助 LangSmith 提供更好的日志、可视化、播放和跟踪功能,以便监控和调试 LLM 应用。LangSmith 是基于 Web 的工具,能查看和分析细化到 class 的输入和输出,还提供跟踪功能,用于记录和展示 LLM 应用的执行过程和状态,以及 LLM 的内部信息和统计数据。 Langfuse:为大模型应用提供开源可观测性和分析功能,在可视化界面中可探索和调试复杂的日志和追踪,并使用直观的仪表板改善成本、降低成本、减少延迟,提高响应质量。 此外,微软(中国)的《面向大模型的新编程范式》报告中也强调了在线监控和可观测性的重要性。
2025-04-11
LLM模型响应时间较长,如何处理超时时间问题
处理 LLM 模型响应时间过长导致的超时问题,可以考虑以下方法: 1. 参数有效调整:这是一种新颖的微调方法,通过仅训练一部分参数来减轻微调 LLM 的挑战。这些参数可能是现有模型参数的子集,或者是一组全新的参数,例如向模型添加一些额外的层或额外的嵌入到提示中。 2. 优化提示设计:采用合适的提示方法,如零样本提示、一次性提示、Fewshot prompting 等。零样本提示是只给出描述任务的提示;一次性提示是让 LLM 执行任务的单个示例;Fewshot prompting 是让 LLM 执行任务的少量示例。同时,可以使用结构化模式设计提示,包含上下文、问题示例及相应答案等组件,以指示模型应如何响应。 3. 避免频繁调整某些参数:尤其是 Top K 和 Top P,不需要经常对其进行调整。 4. 关注模型响应质量:即使有良好的提示设计,模型输出仍可能不稳定,需要持续关注和优化。 5. 考虑成本和时间:微调大型模型可能耗时且成本高,为大模型提供服务也可能涉及额外麻烦和成本,需要综合评估和优化。
2025-04-11
除了LLM,就没有AI模型了吗?
除了 LLM ,还有很多其他类型的 AI 模型。以下为您详细介绍: 1. 生成式 AI:可以生成文本、图片、音频、视频等内容形式。其中生成图像的扩散模型就不是大语言模型。 2. 机器学习:电脑找规律学习,包括监督学习、无监督学习、强化学习。 监督学习:有标签的训练数据,算法的目标是学习输入和输出之间的映射关系,包括分类和回归。 无监督学习:学习的数据没有标签,算法自主发现规律。经典任务包括聚类,比如拿一堆新闻文章,让模型根据主题或内容特征分成具有相似特征的组。 强化学习:从反馈里学习,最大化奖励或最小化损失,类似训小狗。 3. 深度学习:一种参照人脑有神经网络和神经元的方法(因为有很多层所以叫深度)。神经网络可以用于监督学习、无监督学习、强化学习。 4. 谷歌的 BERT 模型:可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。 2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制(SelfAttention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。生成式 AI 生成的内容,叫做 AIGC 。
2025-04-11
linux下安装 anythingLLM
以下是在 Linux 下安装 AnythingLLM 的相关指导: 1. 安装地址:https://useanything.com/download 。 2. 安装完成后会进入配置页面,主要分为三步: 第一步:选择大模型。 第二步:选择文本嵌入模型。 第三步:选择向量数据库。 3. AnythingLLM 中有 Workspace 的概念,可以创建自己独有的 Workspace 与其他项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式,提供了 Chat 模式(大模型会根据自己的训练数据和上传的文档数据综合给出答案)和 Query 模式(大模型仅仅会依靠文档中的数据给出答案)。 4. 完成上述配置后,即可与大模型进行对话。 此外,在 GitHubDaily 开源项目列表 2023 年复盘的 AIGC 部分中,也有关于 AnythingLLM 的介绍: 是一个可打造成企业内部知识库的私人专属 GPT!可以将任何文档、资源或内容转换为大语言模型(LLM)知识库,使得在对话过程中可引用到里面的内容。 本文的思路来源于视频号博主黄益贺,作者按照他的视频进行了实操,并附加了一些关于 RAG 的额外知识。
2025-03-27
anythingLLM本地部署
以下是关于本地部署大模型以及搭建个人知识库的相关内容: 一、引言 作者是大圣,一个致力于使用 AI 工具将自己打造为超级个体的程序员,目前沉浸于 AI Agent 研究。本文将分享如何部署本地大模型及搭建个人知识库,读完可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 信息流转、RAG 概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。 五、本地知识库进阶 如果想要对知识库进行更灵活掌控,需要额外软件 AnythingLLM,它包含所有 Open WebUI 能力,并额外支持选择文本嵌入模型和向量数据库。 安装地址:https://useanything.com/download 。安装完成后进入配置页面,主要分为三步: 1. 第一步:选择大模型。 2. 第二步:选择文本嵌入模型。 3. 第三步:选择向量数据库。 构建本地知识库: AnythingLLM 中有 Workspace 概念,可创建独有 Workspace 与其他项目数据隔离。 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式,提供 Chat 模式(大模型根据训练数据和上传文档综合给出答案)和 Query 模式(大模型仅依靠文档数据给出答案)。 配置完成后可进行测试对话。 六、写在最后 作者推崇“看十遍不如实操一遍,实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣,可联系作者或加其免费知识星球(备注 AGI 知识库)。 本文思路来源于视频号博主黄益贺,作者按照其视频进行实操并附加了一些关于 RAG 的额外知识。
2025-03-26
LLM的原理
LLM(大语言模型)的工作原理如下: 以“我今天吃了狮子头和蔬菜”这句话为例,在 Transformer 中,会由 Attention 层对其加入更多信息补充,如“狮子头是一道菜”“今天是星期六”等,这些补充信息作为输入给到下一个 Attention 层,层与层之间,哪些信息补充、保留、传递,由模型自主学习,最终模型把海量数据以关系网形式“消化”并保留重要相关性。 形象地说,就像人阅读文章时的连贯性注意力过程,在阅读理解时,脑子里会消化吸收记忆,记忆的不是点状知识,而是网状经验。 大模型以词向量和 Transformer 模型学习海量知识,把知识作为向量空间中的关系网存储,接受输入时通过向量空间中的匹配进行输出。 观察大模型回复,是一个字一个字流式输出的,因为大模型确实在一个字一个字地推理生成内容。比如输入法输入联想,根据输入的单个字推测下一个字,加入上下文能帮助模型理解下一个字。但存在两个问题:一是全量数据计算算力吃不消,二是仅算字的概率易被不相干信息干扰,此时词向量机制和 Transformer 模型中的 Attention 自注意力机制解决了难题。 另外,RAG 对大语言模型的作用就像开卷考试对学生,事实性知识与 LLM 的推理能力相分离,被存储在容易访问和及时更新的外部知识源中,分为参数化知识(模型训练中学习得到,隐式储存在神经网络权重中)和非参数化知识(存储在外部知识源,如向量数据库中)。
2025-03-25
AI 衡量一个AI任务的指标是不是有准确率 和召回率 分别啥区别
在 AI 任务中,常见的衡量指标包括准确率和召回率。准确率(Accuracy)衡量的是模型预测正确的比例。而召回率主要用于信息检索等任务,衡量的是模型能够正确检索出相关内容的比例。 在摘要任务中,一般用 ROUGE 指标,其中 ROUGE2 是把两个 sequence 按 2gram 的方式做切分做频次统计,然后计算 pred 和 gt 之间的召回率。 对于不同的 AI 任务,还有其他多种指标,如在 NLP 中: 信息检索任务常用 NDCG@K 指标,核心衡量最相关文档是否排序足够靠前。 文本生成任务可用 BitsperByte 指标。 针对二分类任务,一般用 ECE 指标(Expected Calibration Error)来度量模型输出概率 p 时,最终正确率真的为 p 的一致性。 此外,还有一些其他方面的评估指标,如不确定性(Calibration and Uncertainty)、鲁棒性(Robustness,包括 invariance 和 equivariance)、公平性(Fairness)、偏见程度(Bias and stereotypes)、有毒性(Toxicity)等。 传统的 RAG 解决方案在检索效率和准确性上存在问题,Anthropic 通过“上下文嵌入”解决了部分问题,但 RAG 的评估仍待解决,研究人员正在探索新的方法,如 Ragnarök。 在提示词设计方面,Claude 官方手册提出“链式提示”的方法理念,将复杂任务拆解为多个步骤,具有准确率高、清晰性好、可追溯性强等好处。ChatGPT 官方手册也有类似理念,同时还有相关论文如在 ICLR 2023 上发表的提出 LeasttoMost Prompting 提示词策略的论文,在文本理解和生成场景中表现优秀。
2025-04-09
工作流 和 智能体的区别?
工作流和智能体的区别主要体现在以下几个方面: 定义: 工作流是通过预定义代码路径来编排 LLM 和工具的系统。 智能体则是由 LLM 动态指导自身流程和工具使用的系统,能够自主控制任务完成方式。 功能: 智能体是一个自动化的“助手”,用来执行特定任务,擅长做一些具体的、重复性的任务,比如客服聊天、推荐商品、处理订单等,但只能按照预先设定的规则和任务来做事,如果遇到超出范围的情况,就不知道怎么办了。 工作流是一系列任务的流程,决定了每个步骤应该做什么,可以处理一个完整的过程,比如从客户下单、付款到发货和售后服务,涵盖了所有步骤和环节,更灵活,能够适应变化,可以调整步骤和规则来应对不同的情况,不需要一开始就固定下来。 范围: 智能体是特定任务的“助手”,用于局部执行任务。 工作流是一个“计划”或“路线图”,指导整个任务的流程。简单说,工作流是全局的,智能体是局部的。 在业务中,通常需要的是工作流而非单个智能体,因为整个业务流程设计至关重要。例如,在烹饪中,关键不在于使用多贵的锅,而是按步骤完成每道工序。因此,工作流才是解决问题的关键,它帮助优化思路、提升效率。设计好工作流才能大幅提升整体业务效率。
2025-04-08
在ai context中,token和word的区别是?
在 AI 领域中,Token 和 Word 有以下区别: 定义和范围:Token 通常是大语言模型处理文本数据时的一个单元,在不同语境下,可能代表一个字、一个词、一个句子、标点、词根、前缀等,更加灵活。而 Word 一般指能够表达一定意义的独立单位,如单词。 语言处理:在英文中,一个 Word 通常是一个词或标点符号。在一些汉语处理系统中,一个 Word 可能是一个字或一个词。而 Token 在不同的语言模型和处理系统中,对应的范围和形式有所不同。 作用和意义:Token 不仅是文本数据的单位,还可能携带丰富的语义、句法等信息,在模型中有着对应的向量表示。Word 主要用于传达相对明确和完整的意义。 计算和收费:大模型的收费计算方法以及对输入输出长度的限制,通常是以 Token 为单位计量的。 例如,在处理“ I’m happy ”这句话时,“I”、“’m”、“happy”可能被视为 Token,而“I’m happy”整体可看作一个 Word 。
2025-04-08
AI chatbot、agent、copilot区别
AI chatbot、agent、copilot 主要有以下区别: 1. 定义和角色: Copilot:翻译成副驾驶、助手,在帮助用户解决问题时起辅助作用。 Agent:更像主驾驶、智能体,可根据任务目标自主思考和行动,具有更强的独立性和执行复杂任务的能力。 Chatbot:具备基本对话能力,主要依赖预设脚本和关键词匹配,用于客户服务和简单查询响应。 2. 核心功能: Copilot:更多地依赖于人类的指导和提示来完成任务,功能很大程度上局限于在给定框架内工作。 Agent:具有更高的自主性和决策能力,能够根据目标自主规划整个处理流程,并根据外部反馈进行自我迭代和调整。 3. 流程决策: Copilot:处理流程往往依赖于人类确定的静态流程,参与更多是在局部环节。 Agent:解决问题的流程由 AI 自主确定,是动态的,不仅可以自行规划任务步骤,还能根据执行过程中的反馈动态调整流程。 4. 应用范围: Copilot:主要用于处理简单、特定的任务,更多是作为工具或助手存在,需要人类引导和监督。 Agent:能够处理复杂、大型的任务,并在 LLM 薄弱的阶段使用工具或 API 等进行增强。 5. 开发重点: Copilot:主要依赖于 LLM 的性能,开发重点在于 Prompt Engineering。 Agent:同样依赖于 LLM 的性能,但开发重点在于 Flow Engineering,即在假定 LLM 足够强大的基础上,把外围的流程和框架系统化。 以下是一些 Agent 构建平台: 1. Coze:新一代一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成丰富插件工具。 2. Mircosoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及部署 Copilot 到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体平台,支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于多种场景,提供多种成熟模板。 6. 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,在处理高频工作场景方面表现出色。 以上信息由 AI 大模型生成,请仔细甄别。
2025-04-07
人工智能搜索与百度搜索的区别
人工智能搜索与百度搜索存在以下区别: 1. 底层技术:人工智能搜索的底层技术常包括“RAG”,即“检索增强生成”,包括检索、增强和生成三个步骤。而百度搜索的技术构成相对复杂,不断融合新的技术和功能。 2. 发展路径:在中国市场,相较欧美,百度作为搜索巨头已将文心一言大模型融入搜索,提供对话式回答和创作功能。同时,市场上还涌现出如秘塔 AI 搜索等创新型产品,主打“无广告,直接答案”,提供结构化结果和引用来源等特色功能。 3. 产品更新与竞争态势:Google 仍在战斗前线密集释放技能,与其他公司竞争激烈。而百度在新模型发布方面相对较少。此外,Google 推出新功能曾引发大量用户不满,而百度的相关新功能在页面布局和使用体验上更靠近某些特定产品,并聚合了多种创作能力和智能体快捷调用窗口。百度文库也上线了“AI 全网搜”功能,打通了特定工作流,产品功能较为完整,但受限于模型能力,生成内容尚有提升空间。
2025-04-01
用ai建立知识库和直接使用ai有什么区别、
用 AI 建立知识库和直接使用 AI 主要有以下区别: 直接使用 AI 时,AI 生成的内容可能较为笼统模糊,就像遇到只会说“很急,今天就要”却不提供具体指导的领导。若想让 AI 成为得力助手,需对复杂任务进行拆解,提供方法论和定义输出格式。 建立知识库就如同为 AI 准备了“教科书”。知识库灵活,但偶尔会出现查不到内容而“猜题”的情况。例如,将《梦想与颠覆》卡牌等相关内容导入作为 AI 可调用的知识库,后续在创作中激活知识库,AI 会根据场景自动匹配库内素材,使输出更具针对性。 相比之下,微调类似于让 AI“自己真的学会了整本书”,答题更快更准,但训练成本高。微调适合高精度、长期任务,而知识库更适合临时查找、快速问答。
2025-03-30