Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

多模态agent

Answer

以下是关于多模态 agent 的相关信息：

智谱·AI 开源模型列表中的多模态模型：

  • CogAgent-18B：基于 CogVLM-17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 1120*1120 分辨率的图像理解，在 CogVLM 功能的基础上，具备 GUI 图像的 Agent 能力。代码链接：CogVLM&CogAgent，模型下载：Huggingface、魔搭社区、Swanhub、始智社区。
  • CogVLM-17B：强大的开源视觉语言模型（VLM），基于对视觉和语言信息之间融合的理解，在多模态权威学术榜单上综合成绩优异。代码链接：Huggingface，模型下载：魔搭社区。
  • Visualglm-6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于[ChatGLM-6B]，具有 62 亿参数；图像部分通过训练[BLIP2-Qformer]构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。代码链接：VisuaGLM，模型下载：Huggingface、魔搭社区。

Han 中提到的 AppAgent：让 AI 模仿人类在手机上操作 APP，通过其模仿能力不断提升，对于之后模仿数据的反利用也有不错的应用场景，例如互联网或 AI 或涉及到原型+UE 的工作都可以在基于模仿数据的基础上进行反推，进而让设计出的产品原型和 UE 交互更优解。AppAgent 可以通过自主学习和模仿人类的点击和滑动手势，能够在手机上执行各种任务。它是一个基于大语言模型的多模态代理，能够处理和理解多种类型的信息（如文本、图像、触控操作等）。

多智能体（Multi-Agent）：

  • 定义：由多个自主、独立的智能体（Agent）组成的系统。每个智能体都能够感知环境、进行决策并执行任务，同时它们之间可以进行信息共享、任务协调以及协同行动，以实现整体的目标。
  • 关于 Multi-Agent：随着大型语言模型（LLM）的出现，以 LLM 为核心构建的 Agent 系统近期受到广泛关注。目前更常见的框架主要集中在单 Agent 场景下，单 Agent 的核心在于 LLM 与工具的协同配合。同时，越来越多的 Agent 框架开始关注多 Agent 场景，为不同的 Agent 指定不同的角色，并通过协作完成复杂任务。
  • 主要组成部分：
    • 环境（environment）：所有 Agent 处于同一个环境中，环境中包含全局状态信息，Agent 与环境之间存在信息的交互与更新。
    • 阶段（stage）：为完成复杂任务，现有多 Agent 框架通常采用 SOP 思想，将复杂任务分解为多个子任务。
    • 控制器（controller）：可以是 LLM 或预先定义好的规则，主要负责环境在不同 Agent 和阶段之间的切换。
    • 记忆：在单 Agent 中，记忆只包括用户、LLM 回应和工具调用结果等部分。而在多 Agent 框架中，由于 Agent 数量增多，导致消息数量增多，同时每条消息可能需要记录发送方、接收方等字段。
Content generated by AI large model, please carefully verify (powered by aily)

References

智谱·AI 开源模型列表

，我们推出了具有视觉和语言双模态的模型。|模型|介绍|代码链接|模型下载||-|-|-|-||CogAgent-18B|基于CogVLM-17B改进的开源视觉语言模型。CogAgent-18B拥有110亿视觉参数和70亿语言参数，支持1120*1120分辨率的图像理解，在CogVLM功能的基础上，具备GUI图像的Agent能力。|[CogVLM&CogAgent](https://github.com/THUDM/CogVLM)|[Huggingface](https://huggingface.co/THUDM/CogVLM)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/cogagent-chat/summary)|[Swanhub](https://swanhub.co/ZhipuAI/cogagent-chat-hf)|始智社区||CogVLM-17B|强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM可以在不牺牲任何NLP任务性能的情况下，实现视觉语言特征的深度融合。我们训练的CogVLM-17B是目前多模态权威学术榜单上综合成绩第一的模型，在14个数据集上取得了state-of-the-art或者第二名的成绩。||[Huggingface](https://huggingface.co/THUDM/cogvlm-chat-hf)|[魔搭社区](https://modelscope.cn/models/AI-ModelScope/cogvlm-chat/summary)||Visualglm-6B|VisualGLM-6B是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于[ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)，具有62亿参数；图像部分通过训练[BLIP2-Qformer](https://arxiv.org/abs/2301.12597)构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。|[VisuaGLM](https://github.com/THUDM/VisualGLM-6B)|[Huggingface](https://huggingface.co/THUDM/visualglm-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/visualglm-6b/summary)|

Han：基于现有能力项目应用的思考

|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间||-|-|-|-|-|-|-|-|-|-|-|-|-|-||AppAgent：让AI模仿人类在手机上操作APP|通过appagent的模仿能力不断提升，<br>对于之后模仿数据的反利用也有不错的应用场景，<br>例如互联网或AI或涉及到原型+UE的工作都可以在基于模仿数据的基础上进行反推，<br>进而让设计出的产品原型和UE交互更优解。|AI学习模型|AppAgent可以通过自主学习和模仿人类的点击和滑动手势，能够在手机上执行各种任务。<br>它可以在社交媒体上发帖、帮你撰写和发送邮件、使用地图、在线购物，甚至进行复杂的图像编辑...<br>AppAgent在50个任务上进行了广泛测试，涵盖了10种不同的应用程序。<br>该项目由腾讯和德州大学达拉斯分校的研究团开发。|主要功能特点：<br>-多模态代理：AppAgent是一个基于大语言模型的多模态代理，它能够处理和理解多种类型的信息（如文本、图像、触控操作等）。这使得它能够理解复杂的任务并在各种不同的应用程序中执行这些任务。<br>-直观交互：它能通过模仿人类的直观动作（如点击和滑动屏幕）来与智能手

问：Multi-Agent是什么

多智能体（Multi-Agent）是由多个自主、独立的智能体（Agent）组成的系统。在这个系统中，每个智能体都能够感知环境、进行决策并执行任务，同时它们之间可以进行信息共享、任务协调以及协同行动，以实现整体的目标。[heading2]关于Multi-Agent[content]随着大型语言模型（LLM）的出现，以LLM为核心构建的Agent系统近期受到了广泛关注。Agent系统旨在利用LLM的归纳推理能力，为不同的Agent分配角色和任务信息，并配备相应的工具插件，以完成复杂的任务。目前，更常见的框架主要集中在单Agent场景下。单Agent的核心在于LLM与工具的协同配合。LLM根据用户任务的理解，推理出需要调用的工具，并根据调用结果向用户提供反馈。在任务完成过程中，Agent可能需要与用户进行多轮交互。与此同时，越来越多的Agent框架开始关注多Agent场景。为了完成任务，多Agent会为不同的Agent指定不同的角色，并通过Agent之间的协作来完成复杂的任务。与单Agent相比，在任务完成过程中，与用户的交互可能会减少一些。[heading2]主要组成部分[content]为构建一个多Agent框架，我们需要思考相对于单Agent，框架中增加了哪些组件。环境（environment）：所有Agent应该处于同一个环境中。环境中包含全局状态信息，Agent与环境之间存在信息的交互与更新。阶段（stage）：为了完成复杂任务，现有多Agent框架通常采用SOP思想，将复杂任务分解为多个子任务。控制器（controller）：控制器可以是LLM，也可以是预先定义好的规则。它主要负责环境在不同Agent和阶段之间的切换。记忆：在单Agent中，记忆只包括用户、LLM回应和工具调用结果等部分。而在多Agent框架中，由于Agent数量增多，导致消息数量增多。同时，每条消息可能需要记录发送方、接收方等字段。

Others are asking
AI Agents（智能体）
AI 智能体（Agents）是人工智能领域中一个重要的概念： 1. 从 AGI 的发展等级来看，智能体不仅具备推理能力，还能执行全自动化业务，但目前许多 AI Agent 产品在执行任务后仍需人类参与，尚未达到完全智能体的水平。 2. 作为大模型的主要发展方向之一，智能体中间的“智能体”其实就是大模型（LLM）。通过为 LLM 增加工具、记忆、行动、规划这四个能力来实现。目前行业里主要用到的是 langchain 框架，它把 LLM 与 LLM 之间以及 LLM 与工具之间通过代码或 prompt 的形式进行串接。 3. 从智能体的起源探究来看，心灵社会理论认为智能是由许多简单的 Agent（分等级、分功能的计算单元）共同工作和相互作用的结果。这些 Agent 在不同层次上执行不同的功能，通过协作实现复杂的智能行为。心灵社会将智能划分为多个层次，每个层次由多个 Agent 负责，每个 Agent 类似于功能模块，专门处理特定类型的信息或执行特定任务。同时存在专家 Agent、管理 Agent、学习 Agent 等不同类型的 Agent 及其相应功能。从达特茅斯会议开始讨论人工智能，到马文·明斯基引入“Agent”概念，“AI”和“Agent”就彻底聚齐，往后被称之为 AI Agent。
2025-04-15
B端AI Agent
以下是关于 B 端 AI Agent 的相关知识： 一、概念定义 1. 智能体（Agent）简单理解就是 AI 机器人小助手，参照移动互联网，类似 APP 应用的概念。随着 ChatGPT 与 AI 概念的爆火，出现了很多相关新名词，如 bot 和 GPTs 等。AI 大模型是技术，面向用户提供服务的是产品，因此很多公司关注 AI 应用层的产品机会。 C 端案例：如社交方向，用户注册后先捏一个自己的 Agent，然后让其与他人的 Agent 聊天，两个 Agent 聊到一起后真人再介入；还有借 Onlyfans 入局打造个性化聊天的创业公司。 B 端案例：字节扣子和腾讯元器若为面向普通人的低代码平台，类似 APP 时代的个人开发者，那么帮助 B 端商家搭建 Agent 就类似 APP 时代专业做 APP 的。 2. 智能体开发平台：最早接触到的扣子 Coze 是通过一篇科技报道，如 2 月 1 日，字节正式推出 AI 聊天机器人构建平台 Coze 的国内版“扣子”，主要用于开发下一代 AI 聊天机器人。国内还有很多智能体开发平台，如 Dify.AI，但个人较常用的是扣子，所以常对比字节扣子和腾讯元器。 3. 关注智能体的原因：目前 AI Agent 的概念在市场上未达成共识，存在被滥用现象。AI Agent 指的是一种智能代理系统，接近人类大脑，可形成记忆、达成行动规划、自动交互、主动预测。其应用具有个性化、自主完成任务、多 Agent 协作等特点。目前 AI Agent 应用大多集中在 2B 场景，面向个人消费者的产品少，一方面是高度智能化的 Agent 能力需打磨，概念落地有距离；另一方面是 AI 和娱乐消费诉求结合少，主要带来生产方式和效率变革，个人消费者方向目前只看到“私人助理”场景。
2025-04-15
有关 ai agent 的科普文章
以下是为您提供的关于 AI Agent 的科普内容： AI Agent 是一个融合了多学科精髓的综合实体，包括语言学、心理学、神经学、逻辑学、社会科学和计算机科学等。它不仅有实体形态，还有丰富的概念形态，并具备许多人类特有的属性。 目前，关于 AI Agent 存在一些情况。例如，网络上对其的介绍往往晦涩难懂，让人感觉神秘莫测，其自主性、学习能力、推理能力等核心概念，以及如何规划和执行任务、理解并处理信息等方面，都像是笼罩在一层神秘面纱之下。 另外，以国与国之间的外交为例来解释相关协议。假设每个 AI 智能体（Agent）就是一个小国家，它们各自有自己的语言和规矩。各国大使馆试图互相沟通、做生意、交换情报，但现实中存在诸多问题，如协议各异、要求不同等。 如果您想了解更多关于 AI Agent 的详细内容，可访问： 。
2025-04-15
，AI agent 发展趋势，技术状态，商业模式
以下是关于 AI Agent 的发展趋势、技术状态和商业模式的相关信息： 发展趋势： 2024 年内，办公场景“AI 助手”开始有良好使用体验，实时生成的内容开始在社交媒体内容、广告中出现。 2025 2027 年，接近 AGI 的技术出现，人与 AI 配合的工作方式成为常态，很多日常决策开始由 AI 来执行。 技术状态： 目标实现基于 ReAct、SFT、RAG、强化学习等实现自主规划能力的 AI Agent，构建具备认知、决策智能的 Agent 智能体框架。 专注文本/多模态大模型、AI Agent 技术创新与应用。 商业模式： 依据不同类型销售市场的特点，结合一站式 AI 搭建平台将销售部署的产品化和模版化，让企业更容易落地和应用 AI 能力。 销售智能体 Blurr.AI 占位交易环节，解决 2B 销售获客的痛点，且具有向前后端环节延展的势能。
2025-04-13
AGENT
智能体（Agent）在人工智能和计算机科学领域是一个重要概念，指能够感知环境并采取行动以实现特定目标的实体，既可以是软件程序，也可以是硬件设备。 智能体具有以下特点： 1. 自主系统：通过感知环境（通常通过传感器）并采取行动（通常通过执行器）来达到某种目标。 2. 关键组成部分： 规划：将大型任务分解为更小、可管理的子目标，有效处理复杂任务。 反思和完善：对过去的行为进行自我批评和反思，从错误中吸取教训，完善未来步骤，提高最终结果质量。 记忆：包括短期记忆，用于所有的上下文学习；长期记忆，通过利用外部向量存储和快速检索实现长时间保留和回忆信息。 工具使用：学习调用外部 API 来获取模型权重中缺失的额外信息。 以下是一些与智能体相关的资源目录： 关于 2025AGENT 智能体全球创作大赛： 1. 报名：通过→首页的“立即参赛”按钮进入报名页面，填写相关信息并提交即可，且参赛完全免费。 2. 提交作品：在本网站直接提交，若采用 flowith 搭建了 Agent 可以在微博、小红书、即刻平台发布，并@Flowith 官方，可获得额外会员奖励。 3. 奖项设置：设有金、银、铜奖和多个单项奖，获奖后将获得组委会颁发的奖金和证书，需保证联系方式准确以便联系。 4. 知识产权归属：参赛作品的知识产权归参赛者所有，但组委会有权在宣传和展示中使用参赛作品。
2025-04-12
AI workflow在企业中是否比Agent应用价值和场景更多
AI workflow 和 Agent 在企业中的应用价值和场景各有特点。 Agentic Workflows 具有以下优势： 1. 灵活性、适应性和可定制性：能够根据任务难度进行调整和演变，通过组合不同模式实现定制，在需求和复杂性增长时进行迭代升级。 2. 在复杂任务上的性能提升：将复杂任务分解为更小、可管理的步骤，显著优于确定性的零样本方法。 3. 自我纠正和持续学习：能够评估自身行为，完善策略，从过去经验中学习，在每次迭代中变得更有效和个性化。 4. 操作效率和可扩展性：可以高精度自动化重复任务，减少人工操作和运营成本，还能轻松扩展。 Agentic Workflow 的应用场景包括原子设计模式的组合、与人类反馈循环集成等。例如，Agentic RAG 在检索增强生成流程中引入了一个或多个 AI Agents，在规划阶段可进行查询分解等操作，还能评估数据和响应的相关性和准确性。 一般来说，Workflow 是一系列旨在完成特定任务或目标的相互连接的步骤。最简单的工作流是确定性的，遵循预定义步骤序列。有些工作流利用大模型或其他 AI 技术，分为 Agentic 和非 Agentic 两类。非 Agentic 工作流中，大模型根据指令生成输出。Agentic Workflow 是由单个或几个 AI Agents 动态执行的一系列连接步骤，被授予权限收集数据、执行任务并做出决策，利用 Agents 的核心组件将传统工作流转变为响应式、自适应和自我进化的过程。 综上所述，不能简单地说 AI workflow 在企业中比 Agent 应用价值和场景更多，这取决于企业的具体需求和任务特点。
2025-04-09
多模态应用
以下是一些多模态应用的案例： 1. 电商领域： 拍立淘：由淘宝推出，用户拍照即可识别商品并直接进入购物页面，简化购物搜索步骤。 探一下：支付宝推出的图像搜索引擎，拍照后 AI 能识别并搜索相关商品或信息。 2. 创意领域： 诗歌相机：拍照能生成一首诗，还能打印，将诗意与现代技术结合，并做成硬件形式。 3. 技术平台： 阿里云百炼大模型平台为企业侧提供各种原子级别能力，包括多模态能力。 4. 其他应用场景： 融图：如把图二中的机器人合成到图一的环境中，保持比例、细节、光影和氛围感统一。 小红书风格卡片：使用特定风格生成关于特定内容的卡片。 Logo 转 3D 效果：将图标改成 3D 立体、毛玻璃、毛绒等效果。 示意图转卡通漫画：把示意图转成幼儿园小朋友能看懂的漫画并配中文说明。 遥感理解（图像数据）：识别图中的建筑物并用色块标注。 包装图直出效果：生成图片对应的包装侧面效果图。 参考生成海报图：参考小红书封面生成 PPT 设计相关封面图。 三维建模模拟：将图片转化为 3D max 建模渲染界面并加入 UI 界面。 手办三视图：保留人物样貌、神态，制作成特定要求的 3D 手办三视图。
2025-04-18
多模态是什么，
多模态指多数据类型交互，能够提供更接近人类感知的场景。大模型对应的模态包括文本、图像、音频、视频等。 随着生成式 AI 和大模型的发展，我们逐渐进入多模态灵活转换的新时代，即能用 AI 实现文本、图像、音频、视频及其他更多模态之间的互相理解和相互转换，这一变革依靠一系列革新性的算法。 在感知不同模态数据时，AI 借助高维向量空间来理解，不再局限于传统的单一模态处理方式，将图像或文字“压缩”成抽象的向量，捕捉深层关系。 Gemini 模型本身就是多模态的，展示了无缝结合跨模态的能力，在识别输入细节、聚合上下文以及在不同模态上应用等方面表现出强大性能。
2025-04-13
多模态Agent最新动态
以下是关于多模态 Agent 的最新动态： 《质朴发言：视觉语言理解模型的当前技术边界与未来应用想象｜Z 研究第 2 期》 近期，生成式 AI 领域的浪潮催化了多模态模型的探索，研究人员不断尝试使用更多模态数据的编码，以训练出能够理解和处理多种类型数据的模型。本份研究报告集中讨论了基于 Transformer 架构的视觉语言模型，报告范围专注于视觉和语言之间的交互，不考虑单纯的视觉到视觉的计算机视觉任务。 从 2022 年 11 月 18 日到 2023 年 7 月 26 日，多模态 Agents 迅速增长。 LLM 多模态 agent 是将现有技术融合的新尝试，是一种集成了多种模态数据处理能力的 AI 技术。 优点：高度的灵活性和扩展性，可根据不同任务需求调用最合适的模型处理任务，适应多样化任务和数据类型，优化资源使用，提升效率；无需训练，系统开发周期快，成本低。 局限性：调试和工程化难度较高，维护和升级成本高；多个组件紧密耦合，单点故障可能导致整个系统风险增加；没有涌现出新的能力。 适用场景：需要综合处理视频、语音和文本等多种信息的复杂环境，如自动驾驶汽车；高度交互和灵活的用户界面，如客户服务机器人或交互式娱乐应用。 《2024 年度 AI 十大趋势报告》 随着大模型对图像和视频信息的处理能力快速提升，预计 2025 年将开始出现更为综合性的多模态交互，AI 能够通过物联网、特定信息等多种感知通道进行协同。 多模态输入和输出使 AI 交互性更强、交互频次更高，适用场景也更加丰富，AI 产品整体水平显著提升。 Agent 作为融合感知、分析、决策和执行能力的智能体，能够根据用户历史行为和偏好，主动提供建议、提醒并个性化执行能力，为用户提供高度个性化的任务。从 2025 年开始，AI Agent 即将广泛投入使用。 从个性化推荐到直接生成个性化内容，AIGC 能够使用户体验的个性化程度有明显提升，这将帮助产品进一步完善用户体验，并通过提高用户忠诚度和迁移成本，实现差异化定价和进一步的服务增值，对产品的差异化竞争有重大意义。目前，基于 AIGC 的高度个性化已经在 AI 教育、AI 陪伴、AI 营销领域有明显进展。在硬件端搭载的多款 AI 智能助手也已开始以高度个性的个人助理作为宣传重点。
2025-03-31
Qwen 多模态模型哪一个最顶？
目前阿里发布的 Qwen 多模态模型中，Qwen2.5VL 较为突出。它可处理长达数小时的视频，并在电脑上执行自动化任务。提供 3B、7B、72B 三种规模，旗舰版对标 GPT4o、Claude 3.5 Sonnet。具备全文档解析能力，支持手写、表格、图表、化学公式等多场景识别，还可操作电脑或手机界面，执行自动化任务，如点击按钮、填表等。详情可参考：https://www.xiaohu.ai/c/xiaohuai/qwen25vl285cee 。此外，Qwen2.5Max 也是阿里通义千问的大型专家模型（MoE），基于 SFT 和 RLHF 策略训练，在多项基准如 Arena Hard、LiveBench、LiveCodeBench、GPQADiamond 上超越 DeepSeek V3，引发社区关注。更多体验方式包括支持官方 Chat、API 接口、Hugging Face Demo 等，详情可参考：https://qwenlm.github.io/blog/qwen2.5max/ 、https://chat.qwenlm.ai 、https://alibabacloud.com/help/en/modelstudio/gettingstarted/firstapicalltoqwen?spm=a2c63.p38356.helpmenu2400256.d_0_1_0.1f6574a72ddbKE 、https://huggingface.co/spaces/Qwen/Qwen2.5MaxDemo 。
2025-03-25
如何构建多模态知识库？
构建多模态知识库可以参考以下步骤： 1. 图像知识库方面：通过多模态的能力对图片信息进行检索理解。效果测试时，上传一张图片，在图像数据库里找到相关信息，然后结合内容进行回复。 2. 构建图片索引： 新建结构化数据表时，将图片索引所在列的字段类型设置为 link。需注意新建数据表后，无法再新增或修改字段类型为 link。 创建结构化知识库时，对于需要建立图片索引的 link 类型字段，在旁边的下拉列表中选择图片。创建知识库后，无法再新建或修改图片索引。 3. 多模态知识库还包括构建图片型索引需结构化数据表，字段类型设置为 link，以实现 FAQ 中向用户推送图片信息。
2025-03-19
多模态达模型排行
以下是一些常见的多模态模型排行及相关信息： 1. 智谱·AI 开源模型： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，在 CogVLM 功能基础上具备 GUI 图像的 Agent 能力。代码链接：。 CogVLM17B：强大的开源视觉语言模型（VLM），在多模态权威学术榜单上综合成绩第一，在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。代码链接：。 Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数；图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。代码链接：。 2. Gemini 模型：Gemini Ultra 在表 7 中的各种图像理解基准测试中都是最先进的，在回答自然图像和扫描文档的问题，以及理解信息图表、图表和科学图解等各种任务中表现出强大的性能。在 zeroshot 评估中表现更好，超过了几个专门在基准训练集上进行微调的现有模型，适用于大多数任务。在 MMMU 基准测试中取得了最好的分数，比最先进的结果提高了 5 个百分点以上，并在 6 个学科中的 5 个学科中超过了以前的最佳结果。 3. 多模态思维链提示方法：Zhang 等人（2023）提出了一种多模态思维链提示方法，多模态 CoT 模型（1B）在 ScienceQA 基准测试中的表现优于 GPT3.5。
2025-03-18