Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

coze 能调用用户自己部署的大模型吗

Answer

Coze 可以调用用户自己部署的大模型。例如:

  • 在 Coze 上搭建工作流框架时,可通过“个人空间-工作流-创建工作流”进行操作,在编辑面板中拖入对应的大模型节点来实现各项文本内容的生成。
  • 当在 COW 中直接调用千问的某一个大模型时,需要更改 key 和 model 等配置。获取 key 可参考相关的视频和图文教程,同时需要完成实名认证,否则可能出现报错。
  • 在使用 Coze 做智能报表助手的过程中,也涉及到对大模型的运用,如将用户问题转换为 SQL 等。
Content generated by AI large model, please carefully verify (powered by aily)

References

一泽Eze:万字实践教程,全面入门 Coze 工作流|用 Coze 打造 AI 精读专家智能体,复刻 10 万粉公众号的创作生产力

首先进入Coze,点击「个人空间-工作流-创建工作流」,打开创建工作流的弹窗。根据弹窗要求,自定义工作流信息。点击确认后完成工作流的新建,可以看到整个编辑视图与功能如下:其中,左侧「选择节点」模块中,根据我们的子任务需要,实际用上的有:1.插件:提供一系列能力工具,拓展Agent的能力边界。本案例涉及的思维导图、英文音频,因为无法通过LLM生成,就需要依赖插件来实现。2.大模型:调用LLM,实现各项文本内容的生成。本案例的中文翻译、英文大纲、单词注释等都依赖大模型节点。3.代码:支持编写简单的Python、JS脚本,对数据进行处理。而编辑面板中的开始节点、结束节点,则分别对应1.2分解子任务流程图中的原文输入和结果输出环节。接下来,按照流程图,在编辑面板中拖入对应的LLM大模型、插件、代码节点,即可完成工作流框架的搭建。

「第一天」COW项目:千问模型、百炼应用接入教程

百炼首页:https://bailian.console.aliyun.com/1、当我们在COW中,去直接调用千问的某一个大模型时,只需要更改key和model即可。以调用“qwen-max”模型为例,在/root/chatgpt-on-wechat/文件夹下,打开config.json文件:需要更改"model",和添加"dashscope_api_key"。那么如何去获取key呢:视频教程:[模型调用教程.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/EB8Xbv8wXoiXHCxhEWkcfUVQnFf?allow_redirect=1)图文教程:以下是参考配置:示意图:注意:需要“实名认证”后,这些key才可以正常使用,如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错,那说明你没有实名认证,点击去[实名认证](https://account.console.aliyun.com/v2?spm=5176.28508143.J_4VYgf18xNlTAyFFbOuOQe.13.38a9154amP8978#/authc/types),或查看自己是否已认证。

使用coze做一个智能报表助手

用户上传excel后,在工作流中可以拿到excel连接,然后写一个插件通过url下载当前excel,再读取excel里的数据。开始我打算把解析出来的excel数据以单元格的形式存到bot数据库,然后使用大模型根据单元格数据和用户提问生成答案,但是经过多次实验,发现大模型的计算能力特别差,经常出现计算错的情况。比如一张学生成绩表,用户想求某个学科的平均数,大模型可以把当前学科所有分数精准的提取出来,最后一步计算的时候,经常会出现错误。然后就试了一下另外一套方案,把excel转换为数据表,然后使用大模型把用户问题转换为sql,发现这样做生成的sql准确率非常高,基本都能得到想要的结果。coze里不能动态创建表,所以我自己写了一个服务,在动作流里调用这个服务,根据excel的url动态创建表,同时把excel数据插入到表中,最后把服务返回的动态表名存到coze数据库中,这一步是为了后续用户提问问题时,根据表名动态执行sql,拿到数据。最后再根据数据库表字段信息,使用大模型为用户生成3个推荐报表,报表信息中包含标题、描述、查询sql。这里防止一次查询出来的数据过多,传给大模型时候崩溃,所以限制数据100条。拿到sql后,使用插件动态执行sql查询数据,再根据标题和数据使用大模型转换为绘制echarts图表的参数。绘制图表,官方有一个插件,但是这个插件生成的图表图表有点模糊,我自己就写了一个插件,生成的图表图片就清晰度比较高,echarts绘制图表时可以设置缩放,我给图片放大了三倍,清晰度就变高了很多。

Others are asking
coze搭建智能体,用上传的文件和知识库的文件做对比,分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息: 1. 证件照相关操作: 展示原图上传结果,基本脸型已换,生成效果与上传照片特征有关。 改背景可利用改图功能,一键改图效果更好,输出数据类型为图片。 豆包节点生成的是 URL 地址,与前者不同,在工作流使用有差异,可参考简单提示词。 介绍证件照工作流相关操作,包括通过提示词改背景颜色,设置输出方式为返回变量;讲解消耗 token 及保存结果相关问题;对按钮、表单添加事件并设置参数,限制上传文件数量;还涉及给表单和图片绑定数据,以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开,介绍 for meet 的设置,如表单事件操作、图片上传数量修改等,提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况,分析换性别等问题成因,指出需在工作流优化提示词,也可尝试用视频模型解决,最后进入问答环节。 2. 多维表格的高速数据分析: 创建智能体,使用单 Agent 对话流模式。 编排对话流,创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理,注意代码节点输出的配置格式。 测试,找到一篇小红书笔记,试运行对话流,在对话窗口输入地址查看数据。 发布,选择多维表格,配置输出类型为文本,输入类型选择字段选择器,完善上架信息,可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接: 创建知识库,可选择手动清洗数据提高准确性,包括在线知识库和本地文档。 在线知识库创建时,飞书在线文档中每个问题和答案以分割,可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度,如将课程章节按固定方式人工标注和处理。 发布应用,确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析: 创建文本型知识库: 自动分段与清洗:扣子可对上传的内容进行自动解析,支持复杂布局的文件处理,如识别段落、页眉/页脚/脚注等非重点内容,支持跨页跨栏的段落合并,支持解析表格中的图片和文档中的表格内容(目前仅支持带线框的表格)。操作步骤为在分段设置页面选择自动分段与清洗,然后依次单击下一步、确认,可查看分段效果,不满意可重新分段并使用自定义分段。 自定义:支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义,然后依次设置分段规则和预处理规则,包括选择分段标识符、设置分段最大长度和文本预处理规则,最后单击下一步完成内容分段。 创建表格型知识库: 目前支持 4 种导入类型:本地文档、API、飞书、自定义。 本地文档:选择本地文档从本地文件中导入表格数据,目前支持上传 Excel 和 CSV 格式的文件,文件不得大于 20M,一次最多可上传 10 个文件,且表格内需要有列名和对应的数据。 API:参考特定操作从 API 返回数据中上传表格内容,包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率,然后单击下一步。 飞书:参考特定操作从飞书表格中导入内容,包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用(仅首次导入需授权和安装),然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档,云文档的创建者必须是自己,暂不支持导入知识库和共享空间下的云文档。 上传文本内容: 在线数据:扣子支持自动抓取指定 URL 的内容,也支持手动采集指定页面上的内容,上传到数据库。 自动采集方式:适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据,然后依次单击下一步、自动采集、新增 URL,输入网站地址、选择是否定期同步及周期,最后单击确认,上传完成后单击下一步,系统会自动分片。 手动采集:适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序,在文本格式页签下选择在线数据,然后依次单击下一步、手动采集、授予权限,输入采集内容的网址,标注提取内容,查看数据确认无误后完成并采集。
2025-04-18
coze搭建工作流调用deepseek如何把模型的输出存入到多维表中
以下是将模型的输出存入到多维表中的步骤: 1. 逐步搭建 AI 智能体: 搭建整理入库工作流。 设置大模型节点提取稍后读元数据,使用 MiniMax 6.5s 245k,设置最大回复长度至 50000,以确保能完整解析长内容网页。 进行日期转时间戳,后续的飞书多维表格插件节点在入库日期字段时只支持 13 位时间戳,需要使用「日期转时间戳time_stamp_13」插件进行格式转化。 把稍后读元数据转换为飞书多维表格插件可用的格式,飞书多维表格插件目前(2024 年 08 月)只支持带有转义符的 string,以 Array<Object>格式输入,所以必须将之前得到的元数据数组进行格式转换。 添加「飞书多维表格add_records」插件,只需要设置{{app_token}}与{{records}}参数,将元数据写入飞书表格。 2. 搭建 Coze 工作流: 打开 Coze 的主页,登录后,在【工作空间】创建一个智能体。 在编排页面,给智能体编辑好人设,可先写一个简单的,然后点右上角自动优化,系统会自动补全更精细的描述。点击工作流的+,创建一个工作流。 大模型节点把 input 给到 DeepSeek,让 DeepSeek 按照提前规定的输出框架生成对应文案。 生图节点将输出给到图像生成组件画图。 结束输出时,两个输出给到最终的 end 作为最终的输出。注意在编写系统提示词时,如果需要 input 可被 DeepSeek 调用,需要用{{input}}作为参数引入,不然大模型不知道自己需要生成和这个 input 相关的结果。编排完,点击【试运行】,调试至满意后点击发布。
2025-04-14
有没有优质的系统的coze入门网课?
以下是一些优质的系统的 Coze 入门网课推荐: 另外,还有“一泽 Eze:万字实践教程,全面入门 Coze 工作流|用 Coze 打造 AI 精读专家智能体,复刻 10 万粉公众号的创作生产力”,这可能是全网最好的 Coze 教程(之一),即使是非技术出身的爱好者也能上手跟学,一站式学会 AI Agent 从设计到落地的全流程方法论。其核心看点包括通过实际案例逐步演示用 Coze 工作流构建能够稳定按照模板要求生成结构化内容的 AI Agent、开源 AI Agent 的设计到落地的全过程思路、10+项常用的 Coze 工作流的配置细节、常见问题与解决方法等。适合任何玩过 AI 对话产品的一般用户,以及希望深入学习 AI 应用开发平台(如 Coze、Dify),对 AI Agent 工作流配置感兴趣的爱好者。但需注意,本文不单独讲解案例所涉及 Prompt 的撰写方法。文末「拓展阅读」中,附有相关 Prompt 通用入门教程、Coze 其他使用技巧等内容,以供前置或拓展学习。
2025-04-14
如果我想要系统学习coze,我应该怎么安排?
如果您想要系统学习 Coze,可以参考以下安排: 第一期共学回放 5 月 7 号() 大聪明分享|主题:Agent 的前世今生 每个分享人分享最初是怎么接触 Coze 的,以及现在用 Coze 做什么 20:00@?AJ 主持开场 20:00 21:00 大聪明分享 21:00 21:30 关于 Coze 随便聊聊 5 月 8 号() 大圣分享|主题:我眼中的 AI Agent 以及通过搭建知识库实例入门 Coze 20:00 21:20 大圣分享 5 月 9 号() 艾木分享|主题:Agent 系统的核心构成:Workflow 和 Multiagent Flow(以“Dr.Know”和“卧底”为例 20:00 21:00 艾木分享 21:00 21:30 线上答疑 5 月 10 号() 罗文分享|主题:一个方法解锁 COEZ 所有插件的用法+如何自动化解锁每天抓取 X 内容+改写+发布到飞书 20:00 21:00 罗文分享 5 月 11 号() Itao 分享|主题:和 AI 成为搭子 20:00 21:00 Itao 分享 21:00 21:30 线上答疑 Agent 搭建共学快闪 0619 日程安排 6 月 19 日 20:00 开始 从零到一,搭建微信机器人 0 基础小白 张梦飞 小元 金永勋、奥伏 6 月 20 日 20:00 开始 Coze 接入、构建你的智能微信助手 完成第一课 张梦飞 吕昭波 安仔、阿飞 6 月 23 日 20:00 开始 微信机器人插件拓展教学 完成第一课 张梦飞 安仔 大雨 空心菜、AYBIAO、阿飞 6 月 24 日 20:00 开始 虚拟女友“李洛云”开发者自述 完成第一课 皮皮 安仔 6 月 25 日 20:00 开始 FastGPT:“本地版 coze"部署教学 完成第一课 张梦飞 银海 金永勋、AYBIAO 6 月 27 日 20:00 开始 Hook 机制的机器人使用和部署教学 0 基础小白,一台 Windows 10 以上系统的电脑 张梦飞 Stuart 阿飞、空心菜
2025-04-14
coze 教程
以下是为您提供的 Coze 教程相关信息: 一泽 Eze 的教程:可能是全网最好的 Coze 教程之一,一次性带您入门 Coze 工作流。即使是非技术出身的爱好者也能上手跟学,一站式学会 AI Agent 从设计到落地的全流程方法论。阅读指南:长文预警,请视情况收藏保存。核心看点包括通过实际案例逐步演示用 Coze 工作流构建能稳定按模板要求生成结构化内容的 AI Agent、开源 AI Agent 的设计到落地的全过程思路、10+项常用的 Coze 工作流的配置细节、常见问题与解决方法。适合人群为玩过 AI 对话产品的一般用户,以及对 AI 应用开发平台(如 Coze、Dify)和 AI Agent 工作流配置感兴趣的爱好者。注:本文不单独讲解案例所涉及 Prompt 的撰写方法。文末「拓展阅读」中,附有相关 Prompt 通用入门教程、Coze 其他使用技巧等内容,以供前置或拓展学习。 其他相关基础教程: 大圣:胎教级教程:万字长文带你使用 Coze 打造企业级知识库 (https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb) 大聪明:保姆级教程:Coze 打工你躺平 (https://waytoagi.feishu.cn/wiki/PQoUwXwpvi2ex7kJOrIcnQTCnYb) 安仔:Coze 全方位入门剖析免费打造自己的 AI Agent (https://waytoagi.feishu.cn/wiki/SaCFwcw9xi2qcrkmSxscxTxLnxb) 基础教程:Coze“图像流”抢先体验 (https://waytoagi.feishu.cn/wiki/AHs2whOS2izNJakGA1NcD5BEnuf) YoYo:Coze 图像流小技巧:探索视觉艺术的隐藏宝藏 (https://waytoagi.feishu.cn/wiki/CTajwJnyZizxlJk8a4AcJYywnfe) 【智能体】让 Coze 智能体机器人连上微信和微信群详细配置文档 (https://waytoagi.feishu.cn/wiki/ExHMwCDZ7i6NA7knCWucFvFvnvJ)
2025-04-13
单独调用知识库
以下是关于知识库的相关内容: 创建并使用知识库: 在 Bot 内使用知识库: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在 Bots 页面,选择指定 Bot 并进入 Bot 详情页。 4. 在 Bot 编排页面的知识库区域,单击加号图标,添加指定的知识库。 5. (可选)添加知识库后,可以在自动调用下拉界面内,调整知识库的配置项,包括最大召回数量(Bot 在调用知识库匹配用户输入内容时,返回的数据片段数量,数值越大返回的内容越多)、最小匹配度(Bot 在调用知识库匹配用户输入内容时,会将达到匹配度要求的数据片段进行召回。如果数据片段未达到最小匹配度,则不会被召回)、调用方式(自动调用:每轮对话将自动从所有关联的知识库中匹配数据并召回;按需调用:需要在人设与回复逻辑中提示 Bot 调用 RecallKnowledge 方法,以约束 Bot 在指定时机从知识库内匹配数据)。 6. (可选)在预览与调试区域调试 Bot 能力时,扩展运行完毕的内容可以查看知识库命中并召回的分片内容。 在工作流内使用 Knowledge 节点: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在页面顶部进入工作流页面,并打开指定的工作流。 4. 在左侧基础节点列表内,选择添加 Knowledge 节点。 Coze 打造 AI 私人提效助理实战知识库: 在上述步骤中创建好知识库后,就可以在智能体中配置知识库了。在 coze 主页,个人空间 > 项目开发中,打开一个需要添加知识库的智能体,可以选择配置“文本”、“表格”、“照片”三种知识库。下面以配置文本知识库作为例子。点击加号,选择在 1.3 中已经提前创建好的知识库,点击添加。下一步就是配置提示词,让智能体自动使用知识库回答问题。在进行大概地描述以后,点击右上角“优化”,可以自动优化提示词,获得更好的结果。最后,在网页最右方的“预览与调试”中,测试智能体是否正常调用知识库。 集合 Deepseek 提示词方法论: DeepSeek R1 提示词系统完全指南: 三、进阶控制技巧: 1. 思维链引导:分步标记法(请逐步思考:1. 问题分析→2. 方案设计→3. 风险评估)、苏格拉底式追问(在得出最终结论前,请先列举三个可能存在的认知偏差)。 2. 知识库调用:领域限定指令(基于 2023 版中国药典,说明头孢类药物的配伍禁忌)、文献引用模式(以 Nature 2022 年发表的论文为参考,解释 CRISPR Cas9 最新突破)。 3. 多模态输出。 四、高级调试策略: 1. 模糊指令优化: 问题类型:宽泛需求,修正方案:添加维度约束,示例对比:原句:"写小说"→修正:"创作以 AI 觉醒为背景的悬疑短篇,采用多视角叙事结构"。 问题类型:主观表述,修正方案:量化标准,示例对比:原句:"写得专业些"→修正:"符合 IEEE 论文格式,包含 5 项以上行业数据引用"。 2. 迭代优化法: 1. 首轮生成:获取基础内容。 2. 特征强化:请加强第三段的技术细节描述。 3. 风格调整:改用学术会议报告语气,添加结论部分。 4. 最终校验:检查时间逻辑一致性,列出可能的事实性错误。
2025-04-09
知识库的批量创建和调用
以下是关于知识库的批量创建和调用的详细信息: 使用知识库: 在 Bot 内使用: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在 Bots 页面,选择指定 Bot 并进入 Bot 详情页。 4. 在 Bot 编排页面的知识库区域,单击加号图标,添加指定的知识库。 5. (可选)添加知识库后,可以在自动调用下拉界面内,调整知识库的配置项,包括最大召回数量、最小匹配度和调用方式(自动调用或按需调用)。 6. (可选)在预览与调试区域调试 Bot 能力时,扩展运行完毕的内容可以查看知识库命中并召回的分片内容。 在工作流内使用: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在页面顶部进入工作流页面,并打开指定的工作流。 4. 在左侧基础节点列表内,选择添加 Knowledge 节点。 创建知识库并上传表格数据: API 方式: 1. 在表格格式页签下,选择 API,然后单击下一步。 2. 单击新增 API。 3. 输入网址 URL 并选择数据的更新频率,然后单击下一步。 4. 输入单元名称或使用自动添加的名称,然后单击下一步。 5. 配置数据表信息后,单击下一步。 5.1 确认表结构:系统已默认获取了表头的列名,您可以自定义修改列名,或删除某一列名。 5.2 指定语义匹配字段:选择哪个字段作为搜索匹配的语义字段。在响应用户查询时,会将用户查询内容与该字段内容的内容进行比较,根据相似度进行匹配。 6. 查看表结构和数据,确认无误后单击下一步。 7. 完成上传后,单击确定。 自定义方式: 1. 在表格格式页面下,选择自定义,然后单击下一步。 2. 输入单元名称。 3. 在表结构区域添加字段,单击增加字段添加多个字段。 4. 设置列名,并选择指定列字段作为搜索匹配的语义字段。在响应用户查询时,会将用户查询内容与该字段内容的内容进行比较,根据相似度进行匹配。 5. 单击确定。 6. 单击创建分段,然后在弹出的页面输入字段值,然后单击保存。 创建文本型知识库: 目前支持 5 种导入类型:本地文档、在线数据、notion、飞书、自定义。 在线数据: 自动采集:支持从单个页面或批量从指定网站中导入内容。 添加单个页面的内容: 1. 添加方式:选择添加单个。 2. 更新频率:选择是否自动更新指定页面的内容及自动更新的频率。 3. 网址 URL:输入要采集内容的网址。 批量添加网页内容: 1. 添加方式:选择批量添加。 2. 根地址或网站地图:输入要批量添加的网页内容的根地址或 sitemap 地址,然后单击导入。 3. 导入成功后,单击确认。 手动采集:支持标注要采集的内容,内容上传成功率高。使用手动采集方式,需要先安装浏览器扩展程序。安装步骤,参考。 1. 在新增 URL 页面,选择手动采集。 2. 在弹出的页面输入要采集内容的网址,然后单击确认。 3. 在弹出的页面上,点击页面下方文本标注按钮,开始标注要提取的内容,然后单击文本框上方的文本或链接按钮。 4. 单击查看数据查看已采集的内容,确认无误后再点击完成并采集。
2025-04-09
我们是搜索团队的产品经理,团队定位倾向于“对于插件的建设与调用”定位,现在要做AI相关的产品规划,请以通俗易懂的方式对以下问题做出回答 1、请通过流程图的方式,介绍【插件/工具】能力在大模型生态架构中的环节、定位、实现流程是什么 2、调研下对于我们搜索团队而言,插件应该做什么,可以做什么 3、思考对于大模型来说,有哪些(通用或垂类)的模块/功能/插件是无法绕开的,或高频使用的,作为我们团队后续争取的发力点(如搜索推荐对于传统综合搜索结果页)
以下是为您提供的关于 AI 相关产品规划的回答: 一、插件/工具能力在大模型生态架构中的环节、定位、实现流程 从 2023 年 3 月份 OpenAI 宣布插件计划开始,到 5 月份上线,其中包括联网、代码、画图三个插件。其实现流程大致为: 1. 经过对模型的微调,检测何时需要调用函数(取决于用户的输入)。 2. 使用符合函数签名的 JSON 进行响应。 3. 在接口层面声明可调用的工具。 4. 使用函数和用户输入调用模型。 5. 使用模型响应调用 API。 6. 将响应发送回模型进行汇总。 二、对于搜索团队,插件可以做和应该做的事 目前没有直接针对搜索团队插件具体可做和应做事项的明确内容,但可以参考 OpenAI 的插件计划,例如开发与搜索相关的特定功能插件,或者探索如何将现有的搜索推荐功能与大模型更好地结合。 三、对于大模型无法绕开或高频使用的模块/功能/插件 目前没有直接指出对于大模型无法绕开或高频使用的具体模块、功能或插件。但从相关信息中可以推测,例如与数据获取和处理相关的插件(如联网)、与技术开发相关的插件(如代码)以及与内容生成相关的插件(如画图)可能是较为重要和高频使用的。对于搜索团队来说,可以考虑在这些方向上寻找发力点,结合搜索推荐等传统功能,开发出更具竞争力的插件。
2025-04-08
coze上提取视频文案的插件有哪些?都是怎么调用的
以下是关于在 coze 上提取视频文案的插件及调用方法: 1. 进入 coze 个人空间,选择插件,新建一个插件并命名,如 api_1。 2. 在插件的 URL 部分,填入通过 ngrok 随机生成的 https 的链接地址。 3. 配置输出参数和 message 输出。 4. 测试后发布插件。 需要注意的是: 1. 如果在生产环境中已有准备好的 https 的 api,可直接接入。 2. 本案例中使用的是 coze 国内版,且案例中的 ngrok 仅供娱乐,在生产环境中勿用。
2025-04-01
如何综合运用插件、工作流、知识库,搭建满足各种需求的智能体,尤其是调用多个智能体,组成像Manus这样的工具?
要综合运用插件、工作流、知识库搭建满足各种需求的智能体,尤其是调用多个智能体组成类似 Manus 的工具,需要了解以下内容: 插件:插件如同一个工具箱,里面可放置一个或多个工具,称为 API。扣子平台有多种类型的插件,如看新闻、规划旅行、提高办公效率、理解图片内容的 API 及能处理多种任务的模型。若平台现有插件不符合需求,还可自行制作添加所需 API。 工作流:工作流类似可视化拼图游戏,可将插件、大语言模型、代码块等功能组合,创建复杂稳定的业务流程。工作流由多个节点组成,开始和结束节点有特殊作用,不同节点可能需要不同信息,包括引用前面节点信息或自行设定信息。 知识库:可上传私有文件作为回答参考。 智能体:智能体是对自定义操作的封装,用于解决特定场景问题。以 ChatGPT 的 GPTs 为例,包括描述作用和回复格式的提示词、作为回答参考的知识库、请求第三方 API 获取实时数据的外挂 API 以及个性化配置等。 例如,在“竖起耳朵听”的智能体中添加了插件和工作流的相关设置。创建智能体时,输入人设等信息,并配置工作流。但需注意,如工作流中使用的插件 api_token 为个人 token 时,不能直接发布,可将其作为工作流开始的输入,由用户购买后输入使用再发布。 此外,在 AI 搜索中,可预置 after_answer 钩子,将请求大模型的上下文和回答发给第三方插件整理成文章或思维导图等格式同步到第三方笔记软件。全流程中有很多节点可做 Hook 埋点,多个插件构成可插拔架构,常用功能可抽离成标准插件用于主流程或辅助流程,还可自定义智能体 Agent 等。
2025-03-29
目前有哪些AI可以支持对用户上传的视频进行理解分析?
目前以下 AI 可以支持对用户上传的视频进行理解分析: 1. Gemini 2.0 Flash Thinking:是解析视频的不错选择,可在 AIStudio(访问 aistudio.google.com,需海外 IP)上传视频进行解析。 2. MiniMax 视频模型:能准确识别用户上传的图片,生成的视频在形象保持、光影色调、指令响应、表情呈现等方面表现出色,还支持 2000 字提示词以更精准调控。 3. 百炼大模型平台:应用广场里的影视传媒视频理解能力可对视频进行语音转写、视觉语言分析等处理并总结成文,有清晰使用步骤,还能根据偏好调试提示词。
2025-04-09
excel表格导出的用户的对话记录,来进行自定义标签并打标,有哪些好用的现成方案或者工具
目前在 Excel 表格导出的用户对话记录进行自定义标签并打标方面,以下是一些常见且好用的工具和方案: 1. Microsoft Excel 本身:可以利用其数据筛选、排序和函数功能来辅助标签和打标。 2. Google Sheets:具有类似 Excel 的功能,且在线协作方便。 3. R 语言:通过编程实现复杂的数据分析和标签处理。 4. Python 及相关库,如 Pandas:能够灵活处理数据和进行标签操作。 但具体选择哪种方案或工具,取决于您的具体需求、技术水平和使用习惯。
2025-04-07
如果面试AI产品经理岗位,我的简历应该如何介绍对应的AI项目?目前我在做的是一个AI深度解读的功能,用户通过报告页面进行深度解读,进入后触发AI与用户的沟通,根据沟通信息,将用户的一些情况写在病历信息中,最终发给医生
以下是为您提供的一些参考,帮助您在面试 AI 产品经理岗位时介绍对应的 AI 项目: 在您所做的 AI 深度解读功能项目中,可以从以下几个方面进行介绍: 项目背景:阐述开展该项目的原因和目标,例如为了提升医疗服务的效率和准确性,满足用户对深度医疗解读的需求等。 项目职责:详细说明您在项目中的具体职责,如需求分析、产品规划、与开发团队协作、与用户沟通获取反馈等。 技术实现:描述项目中所运用的关键技术,如触发 AI 与用户沟通的机制、如何将用户信息写入病历等。 用户体验优化:提及为提升用户体验所采取的措施,比如优化报告页面的设计、提高 AI 沟通的自然度和准确性等。 成果与效益:展示项目取得的成果,如提高了医生的诊断效率、提升了用户满意度等。 此外,您还可以参考以下其他相关人员的项目经验: 秦超作为 AI 2C 项目负责人,在产品落地服务方面具有丰富的经验,包括产品、技术架构以及项目管理等。 Cici?在 AI 算法开发领域,将宠物与 AI 结合,具备 AI 产品研发和创业经验。 11 鸭鸭呀作为产品经理,在智能写作产品方面有 Prompt 撰写和 AI 应用的经验。 枫 share 作为产品经理,熟悉 ChatGPT,写过 prompt,使用过多种 AI 创作工具,并正在寻找 AI 方向的产品岗位。 行远作为产品经理,熟悉 prompt,部署过多种绘图项目,使用过多款 AI 创作工具,期待学习和实战案例应用。 希望以上内容对您有所帮助,祝您面试成功!
2025-04-01
罗列具体的AI模型产品和具体的AI技术创新点,并总结AI技术的发展趋势,并说明这些发展趋势为用户的交互体验带来了什么样的改变?按照时间线将以上内容梳理出来
以下是按照您的需求梳理的内容: 时间线 早期: 从图灵测试、早期的图灵机器人和 ELISA 开始,到 IBM 的语音控制打印机、完全由人工智能创作的小说、微软的同声传译系统。 近年来: OpenAI 发布 ChatGPT 模型,引发用户习惯从简单触控操作转向更复杂的长文本输入,未来可能延伸至长语音交互。 大模型创新方面,架构优化加速涌现,融合迭代成为趋势。Scaling Law 泛化,推理能力成为关键,倒逼计算和数据变革。AGI 探索中,视频生成点燃世界模型,空间智能统一虚拟和现实。 在应用方面,AI 在文科白领的个人助理、呼叫中心、文本处理和教育等领域表现出色,能完成 80%到 90%的工作;对于工科白领,特别是程序员,能简化代码检索和调整;在蓝领领域,自动驾驶取得显著进展。但在复杂任务方面仍有改进空间。 第一轮洗牌结束,聚焦 20 赛道 5 大场景,多领域竞速中运营大于技术,AI 助手成为竞争重点。AI+X 赋能类产品发展迅速,原生 AI 爆款难求。多模态上马,Agent 席卷一切,高度个性化呼之欲出。 人工智能发展经历了萌芽、积累沉淀到如今大模型和多模态模型百花齐放的阶段。大模型由数据、算法、算力构成,算法有技术架构的迭代,如英伟达的显卡辅助模型训练,数据质量对生成理想的大模型至关重要。 未来: 李沐预测技术发展可能催生出革命性的应用形态,但 AI 离真正变革世界还有一段距离。 预计 AI 在蓝领工作的初步应用至少需要 5 年时间。 AI 技术创新点: 大模型创新:架构优化加速涌现,融合迭代大势所趋。 Scaling Law 泛化:推理能力成皇冠明珠,倒逼计算和数据变革。 AGI 探索:视频生成点燃世界模型,空间智能统⼀虚拟和现实。 AI 技术的发展趋势: 模型架构不断优化和融合。 更加注重推理能力的提升。 探索 AGI 领域,实现虚拟和现实的统一。 应用格局不断洗牌,聚焦特定赛道和场景。 多模态和 Agent 技术的广泛应用。 对用户交互体验的改变: 用户习惯从简单触控操作转向更复杂的长文本输入,未来可能延伸至长语音交互。 AI 应用为用户提供辅助,在多个领域帮助完成任务。
2025-03-31
AI技术发展时间线,罗列具体的AI模型产品和具体的AI技术创新点,并总结AI技术的发展趋势,并说明这些发展趋势为用户的交互体验带来了什么样的改变?
以下是关于 AI 技术发展的相关内容: AI 技术发展时间线: 从图灵测试、早期的图灵机器人和 ELISA,到 IBM 的语音控制打印机、完全由人工智能创作的小说、微软的同声传译系统,再到 OpenAI 发布 ChatGPT 模型,经历了萌芽、积累沉淀到如今大模型和多模态模型百花齐放的阶段。 具体的 AI 模型产品: ChatGPT 改变了用户习惯,从简单触控操作转向更复杂的长文本输入,未来可能延伸至长语音交互。 具体的 AI 技术创新点: 大模型创新方面,架构优化加速涌现,融合迭代成为趋势。 Scaling Law 泛化,推理能力成为皇冠明珠,倒逼计算和数据变革。 AGI 探索中,视频生成点燃世界模型,空间智能统一虚拟和现实。 AI 技术的发展趋势: 大模型创新:架构优化加速涌现,融合迭代大势所趋。 应用格局:第一轮洗牌结束,聚焦 20 赛道 5 大场景。 应用竞争:多领域竞速运营大于技术,AI 助手兵家必争。 应用增长:AI+X 赋能类产品大干快上,原生 AI 爆款难求。 产品趋势:多模态上马,Agent 席卷一切,高度个性化呼之欲出。 智变千行百业:左手变革生产力,右手重塑行业生态。 行业渗透率:数据基础决定初速度,用户需求成为加速度。 创投:投融资马太效应明显,国家队出手频率提升。 对用户交互体验的改变: ChatGPT 使用户从简单触控操作转向更复杂的长文本输入,未来可能延伸至长语音交互。 在文科白领方面,AI 能完成 80%到 90%的工作,如个人助理、呼叫中心、文本处理和教育等领域。 对于工科白领,特别是程序员,AI 能简化代码检索和调整。 在蓝领领域,AI 在自动驾驶方面取得显著进展。
2025-03-31
如何生成一个根据用户输入的需求推荐旅游地点的智能体
要生成一个根据用户输入的需求推荐旅游地点的智能体,可以参考以下几种方式: 小众打卡地智能体: 基本信息:名称为“小众打卡地”,链接为 https://tbox.alipay.com/pro/share/202412APCyNn00194489?platform=WebService 。 核心价值:为用户发掘非大众化的特色景点,避开人流;提供个性化的旅行建议,并有目的地的图片参考;帮助用户快速获取高质量的旅行参考信息;提供小红书文案,也适合发小红书。 搭建思路重点:录入小红书的相关文案参考知识库;通过文本模型组成搜索词进行搜索,从搜索到的所有网页链接中,通过代码节点提取相关的 url,滤除需要安全认证的网站,挑选非周边城市攻略推荐,尽量检查“小众”或“冷门”;通过 url 网页正文提取相关的小众地点输出,同时通过代码进行打卡点的字符串输出用于后续节点运用;根据需要搜索的小众旅行地进行图片搜索,随机提取一条图片的 url,过滤部分失效的网站;最后的文案输出适合小红书文案和旅行发布参考。 旅行青蛙智能体: 搭建过程开源: 意图分支 1(随机旅行):根据用户的坐标和触发事件,推荐当季适合的旅行景点。可以用大模型实现这一功能(小白适用),也可以用代码或者知识库的方式进行随机抽取。为了让大模型每次输出的地点尽量不同,可以拉高多样性的值。 大模型节点(旅行日记):设定字数、风格,入参是触发事件和上一个大模型输出节点的结果。 大模型节点(为你写诗):添加输入项。 大模型节点(文生图提示词):这个节点是固定前缀提示词,再根据地点和季节进行其它信息的补充。添加输入项。 城市探险家智能体: 智能体功能实现: 基础功能模块: 城市信息库:包括城市基础信息(地理位置、人口、气候等)、文化特色(历史传统、本地习俗、节日活动)、旅游资源(景点、美食、住宿、交通)、实用信息(最佳旅行季节、注意事项、消费水平)。 积分系统:完成探索后获取探索点数,获取方式包括主要景点探索、美食品鉴、文化体验、历史探索、交通探索、隐藏景点发现。 称号系统:等级划分有旅途新手(0 点)、城市漫游者(20 点)、文化探索者(50 点)、环球冒险家(100 点)、旅行大师(200 点)。 推荐系统:基于用户历史分析用户已探索城市类型;根据当前季节推荐适合城市;根据用户兴趣推荐主题路线;结合用户偏好进行个性化定制推荐。 交互功能实现:对话流程包括用户输入城市名称、智能体分析城市类型、生成个性化城市介绍、计算并更新探索点数、检查称号解锁、推荐相关城市。 完整 prompt:先定义好各子系统的规则;在对话流程中调用子系统;测试 prompt 效果,迭代 prompt;调试到理想的输出效果后,开始固定输出模板(在 prompt 内加入输出模板示例);继续测试,直至稳定。
2025-03-31
大模型的系统提示词
大模型的系统提示词主要包括以下方面: 1. 在“五津:一键生成‘摸鱼打工猫’视频”中,针对用户选择的主题和回答,总结用户的创作意图,如“打工猫摸鱼的 2 小时,在巴厘岛能看一场日落”,并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词,以数组形式输出到“tishici”,将用户意图输出到“biaoti”。 2. 在“云中江树:智能对决:提示词攻防中的 AI 安全博弈”中,系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意;模型侧对于有能力的厂商应增强安全性并平衡性能,开发者则要在开发中带着安全意识优化系统提示词,加入安全引导和禁止内容等;输出侧可使用传统防御和内容过滤手段,并针对大模型特点进行私有数据泄露等检查。此外,还提到间接注入和提示词泄露的情况,间接注入常发生在应用获取依赖外部数据资源时,攻击者通过隐藏恶意指令完成攻击;提示词泄露指试图操纵模型输出获取部分或全部系统提示词,大模型输出内容可分为系统提示词、用户提示和助手提示词三段,通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash,这3个视觉理解大模型哪个最厉害?
以下是对通义千问 Qwen2.5VL 模型的介绍: 版本:有 3B、7B 和 72B 三个尺寸版本。 主要优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 然而,对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型,目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容,因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看,其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面,较为突出的有 DeepSeek 的 JanusPro 模型,它将图像理解和生成统一在一个模型中;还有通义千问的视觉理解模型,其价格有较大降幅。此外,Pixverse V3.5 是全球最快的 AI 视频生成模型,在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型,因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点: 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验,具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接,产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务,适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景,如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点: 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情,全靠用户脑补,导致用户上头期短,疲劳度高,长期留存低。 3. 无法回答私有领域问题(如公司制度、人员信息等)。 4. 无法及时获取最新信息(如实时天气、比赛结果等)。 5. 无法准确回答专业问题(如复杂数学计算、图像生成等)。
2025-04-14