Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何调用ai的模型

Answer

以下是关于如何调用 AI 模型的相关内容：

Liblibai 简易上手教程：

  1. 首页 - 模型广场：发布了其他用户炼成的模型。收藏和运行数较多的模型在首页前排，点击可查看详细信息，将模型加入模型库可用于生图时快速调用。模型详情下方有返图区。
    • Checkpoint：生图必需的基础模型，任何生图操作必须选定一个 Checkpoint 模型才能开始。注意与 lora 的区别，两者在模型广场混着展示，Checkpoint 必选，lora 可选可不选。
    • lora：低阶自适应模型，可理解为 Checkpoint 的小插件，对生图的面部、材质、物品等细节有控制作用，可加入模型库。
    • VAE：编码器，功能类似于滤镜，调整生图饱和度，选择 840000 即可。
    • CLIP 跳过层：用于生成图片后控制、调整构图变化，一般设为 2，早期不用过多关注。
    • Prompt 提示词：想要 AI 生成的内容，需学习。
    • 负向提示词 Negative Prompt：想要 AI 避免产生的内容，需学习。
    • 采样方法：决定让 AI 用何种算法生图。

COW 项目：

  1. 调用千问系列的模型：可以直接使用 key、选择 model 进行调用，即直接调用某一个大模型。
  2. 调用应用能力：阿里云百炼的“应用”服务。当需要更多能力如工作流、搜索等时，调用百炼的“应用”。在百炼平台里的“应用”类似于 Coze 中的“bot”或 ChatGPT 的 GPTs 概念。有两种调用方式：
    • 直接调用模型：对接简单，调试不方便。
    • 调用应用（bot）：对接相对麻烦，调试简单，推荐使用。修改和调整 Prompt 时，只需要在“百炼”应用里进行调试。

AI 调用外部工具： AI 本身不会直接调用工具，也不是依赖关键词识别。实际流程为：

  1. 程序调用 AI 接口，AI 生成 JSON 结构化数据，告知是否需要工具、使用何种工具及参数。
  2. 程序解析 JSON 并调用工具，获取结果后返回 AI。
  3. AI 根据工具返回的数据生成最终回答。
Content generated by AI large model, please carefully verify (powered by aily)

References

Liblibai简易上手教程

1.首页-模型广场：发布了其他大手子炼成的模型。如你所见，收藏和运行数（被其他用户来生图的次数）较多的模型都在首页前排，点击后可以看模型的详细信息，将模型加入模型库可用于今后生图时的快速调用。模型详情信息的下方，是用这个模型生成的图片，俗称返图区。1.Checkpoint：生图必需的基础模型，任何生图操作必须要选定一个checkpoint模型才能开始操作。注意，checkpoint区别于lora，这两个东西在模型广场都是混着展示的。checkpoint必选，lora可选可不选，任何主题的作图需求，都可以试着在模型广场上搜索或者浏览，然后收集到模型库中用于生图。1.lora：低阶自适应模型，你可以理解为checkpoint的小插件，生图的时候lora可有可无。但是lora的价值还是很明显的，基本上你看到一些精细的控制，如面部、材质、物品等等细节都常见于用相应的lora进行控制。这个也是可以加入模型库的。1.VAE：是个编码器，功能类似于我们熟悉的滤镜，调整生图的饱和度。无脑选择右侧截图中840000这个即可。1.CLIP跳过层：可以用于在生成图片之后控制、调整构图变化，一般设成2就行了，早期不用花太多精力在这里。1.Prompt提示词：想要AI生成的内容（不绝对有效，需要从入门阶段就费功夫学习，哪怕从照抄别人开始）。2.负向提示词Negative Prompt：想要AI避免产生的内容（不绝对有效，也需要费功夫学，哪怕从照抄别人开始）。1.采样方法：使用何种采样器，通俗说就是让AI用什么算法生图。

「第一天」COW项目：千问模型、百炼应用接入教程

在COW项目中，调用千问系列的模型。是可以直接使用key、选择model进行调用，此时就是直接调用的某一个大模型。类似于直接调用智普模型、或直接调用了OpneAI的模型。2、调用应用能力：阿里云百炼的“应用”服务。当我们需要使用更多的能力时候，比如工作流、搜索等能力。此时就需要调用百炼的“应用”。在百炼平台里的“应用”概念，类似于Coze中的“bot”、或ChatGPT的GPTs概念。因此，大家可以简单理解为：阿里提供了两种调用方式1、直接调用模型：对接简单，调试不方便。2、调用应用（bot）：对接相对麻烦，调试简单。（推荐）以下教学教学了两种调用方式，大家可以自由选择使用任意一种。（之前完成过coze对接的同学，直接使用第二种，不然会报错）强烈推荐第二种，调用百炼的应用，这样大家在修改和调整Prompt的时候，就不需要重复登录微信了，只需要在“百炼”应用里进行调试即可。

宝玉 日报

?宝玉日报「2月6日」✨✨✨✨✨✨✨✨1⃣️?多模态语言模型vs.PDF OCR：优势与挑战Gemini 2.0可低成本解析复杂PDF，借助多模态能力提升OCR效率。现实挑战：模型可能因图像分割错误、拼写修正、“自作聪明”解数学题等问题导致OCR识别不准。安全风险：容易受“恶意”提示词干扰，影响最终结果。个人体验：多模态模型OCR方便，但仍有“幻觉”问题，需人工校对。?相关文章：?Ingesting Millions of PDFs and why Gemini 2.0 Changes Everything[https://sergey.fyi/articles/gemini-flash-2](https://sergey.fyi/articles/gemini-flash-2)?Why LLMs Suck at OCR[https://runpulse.com/blog/why-llms-suck-at-ocr](https://runpulse.com/blog/why-llms-suck-at-ocr)?翻译版：[https://baoyu.io/translations/gemini-flash-2](https://baoyu.io/translations/gemini-flash-2)2⃣️?AI如何调用外部工具？误区：AI本身不会直接调用工具，也不是依赖关键词识别。实际流程：1.程序调用AI接口，AI生成JSON结构化数据，告知是否需要工具、使用何种工具及参数。2.程序解析JSON并调用工具，获取结果后返回AI。3.AI根据工具返回的数据生成最终回答。示例：查询天气

Others are asking
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总： 4 月 11 日： Pika 上线 Pika Twists 能力，可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中，结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术，可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术，实现从单张图片快速生成超逼真的 3D 头像，在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage，通过图片生成可自由拼装 3D 场景，再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型，无缝支持各种视频生成任务（文本/图像/视频到视频）。 4 月 9 日： ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下，可生成完整的 1 分钟视频。 4 月 14 日： 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
ai视频教学
以下是为您提供的 AI 视频教学相关内容： 1. 第一节回放 AI 编程从入门到精通： 课程安排：19、20、22 和 28 号四天进行 AI 编程教学，周五晚上穿插 AI 视频教学。 视频预告：周五晚上邀请小龙问露露拆解爆火的 AI 视频制作，视频在视频号上有大量转发和播放。 编程工具 tree：整合多种模型，可免费无限量试用，下载需科学上网，Mac 可拖到文件夹安装，推荐注册 GitHub 账号用于代码存储和发布，主界面分为工具区、AI 干活区、右侧功能区等。 网络不稳定处理：网络不稳定时尝试更换节点。 项目克隆与文件夹：每个项目通过在本地新建文件夹来区分，项目运行一轮一轮进行，可新建会话，终端可重开。 GitHub 仓库创建：仓库相当于本地项目，可新建，新建后有地址，可通过多种方式上传。 Python 环境安装：为方便安装提供了安装包，安装时要选特定选项，安装后通过命令确认。 代码生成与修改：在 tree 中输入需求生成代码，可对生成的代码提出修改要求，如添加滑动条、雪花形状、颜色等，修改后审查并接受。 2. AI 视频提示词库： 神秘风 Arcane：Prompt：a robot is walking through a destroyed city,,League of Legends style,game modelling 乐高 Lego：Prompt：a robot is walking through a destroyed city,,lego movie style,bright colours,block building style 模糊背景 Blur Background：Prompt：a robot is walking through a destroyed city,,emphasis on foreground elements,sharp focus,soft background 宫崎骏 Ghibli：Prompt：a robot is walking through a destroyed city,,Spirited Away,Howl's Moving Castle,dreamy colour palette 蒸汽朋克 Steampunk：Prompt：a robot is walking through a destroyed city,,fantasy,gear decoration,brass metal robotics,3d game 印象派 Impressionism：Prompt：a robot is walking through a destroyed city,,big movements
2025-04-20
ai写程序
以下是关于使用 AI 写程序的相关内容： 1. 对于技术纯小白： 从最基础的小任务开始，让 AI 按照最佳实践写一个 say hello 的示例程序，并解释每个文件的作用及程序运行的逻辑，以学会必备的调试技能。 若学习写 chrome 插件，可让 AI 按照最佳实践生成简单的示范项目，包含全面的典型文件和功能，并讲解每个文件的作用和程序运行的逻辑。若使用 o1mini，可在提示词最后添加生成创建脚本的要求，并请教如何运行脚本（Windows 机器则是 create.cmd）。 2. 明确项目需求： 通过与 AI 的对话逐步明确项目需求。 让 AI 帮助梳理出产品需求文档，在后续开发时每次新起聊天将文档发给 AI 并告知在做的功能点。 3. 在独立游戏开发中的经验： 单独让 AI 写小功能没问题，但对于复杂的程序框架，可把不方便配表而又需要撰写的简单、模板化、多调用 API 且牵涉小部分特殊逻辑的代码交给 AI。 以 Buff 系统为例，可让 AI 仿照代码写一些 Buff。但目前 Cursor 生成复杂代码需要复杂的前期调教，ChatGPT 相对更方便。 教 AI 时要像哄小孩，及时肯定正确的，指出错误时要克制，不断完善其经验。 4. 相关资源和平台： AI 写小游戏平台：https://poe.com/ 图片网站：https://imgur.com/ 改 bug 的网站：https://v0.dev/chat 国内小游戏发布平台：https://open.4399.cn/console/ 需要注意的是，使用 AI 写程序时，对于技术小白来说，入门容易但深入较难，若没有技术背景可能提不出问题，从而影响 AI 发挥作用。
2025-04-19
有哪些好用的法律ai
以下是一些好用的法律 AI 应用场景和示例： 1. 诉讼策略制定： AI 将基于商标法等相关条款和案例法，为商标侵权案件提供诉讼策略，包括对原告商标权利的分析、被告侵权行为的评估、关键证据搜集建议、法律抗辩点及和解或调解策略。 其他例子： 为专利侵权案件制定诉讼策略，分析专利有效性、被告侵权行为及抗辩理由，提出证明侵权和计算损害赔偿的建议。 针对劳动合同纠纷案件，分析员工权益和雇主责任，提出诉讼策略，包括主张权益、证据收集重点及证明雇主违约行为。 在知识产权许可诉讼中，分析许可协议条款和双方权利义务，提出诉讼策略，包括证明许可协议违反、计算损失赔偿及可能的合同解除条件。 模拟法庭，如模拟商业合同违约的法庭审理，分析双方论点、证据和法律依据，预测判决结果，给出优化法庭陈述和证据呈现的建议。 2. 法律意见书撰写： AI 根据案件背景、证据材料和法律法规，自动撰写初步法律意见书，包含案件事实梳理、法律分析和结论。 其他例子： 针对商业秘密泄露案件，分析法律责任和赔偿范围，撰写法律意见书，提供应对策略。 为计划上市的公司提供关于公司治理结构的法律意见书，确保符合相关法规要求。 就消费者权益保护案件提供法律意见，分析商家赔偿责任和消费者维权途径，制定应对措施。 起草股权转让协议，包括转让方和受让方信息、股权转让份额、价格、支付方式和时间表、先决条件、双方权利义务、保密、违约责任和争议解决条款等。 3. 指令风格和技巧： 可指定 AI 模仿某位资深律师的逻辑严谨和言简意赅的风格，使其提供的信息更符合专业律师的沟通和表达习惯。 运用 PEMSSC 方法，如选择个性化的风格、给出参考或逻辑结构、从多个角度思考、进行总结概括、使用分隔符号区分等。 个性化风格：选择幽默且富有洞察力的风格，融入创新视角。 参考和逻辑结构：在提供法律建议时，采用 SWOT 分析法或 4P 原则等逻辑结构。 多角度思考：在分析商事诉讼时，从市场趋势、竞争对手行为、战略规划、财务状况和市场前景等角度思考诉讼策略。
2025-04-18
有没有能根据描述，生成对应的word模板的ai
目前有一些可以根据描述生成特定内容的 AI 应用和方法。例如： 在法律领域，您可以提供【案情描述】，按照给定的法律意见书模板生成法律意见书。例如针对商业贿赂等刑事案件，模拟不同辩护策略下的量刑结果，对比并推荐最佳辩护策略，或者为商业合同纠纷案件设计诉讼策略等。 在 AI 视频生成方面，有结构化的提示词模板，包括镜头语言（景别、运动、节奏等）、主体强化（动态描述、反常组合等）、细节层次（近景、中景、远景等）、背景氛围（超现实天气、空间异常等），以及增强电影感的技巧（加入时间变化、强调物理规则、设计视觉焦点转移等）。 一泽 Eze 提出的样例驱动的渐进式引导法，可利用 AI 高效设计提示词生成预期内容。先评估样例，与 AI 对话让其理解需求，提炼初始模板，通过多轮反馈直至达到预期，再用例测试看 AI 是否真正理解。 但需要注意的是，不同的场景和需求可能需要对提示词和模板进行针对性的调整和优化，以获得更符合期望的 word 模板。
2025-04-18
可以增强图片清晰的的ai
以下是一些可以增强图片清晰度的 AI 工具： 1. Magnific：https://magnific.ai/ 2. ClipDrop：https://clipdrop.co/imageupscaler 3. Image Upscaler：https://imageupscaler.com/ 4. Krea：https://www.krea.ai/ 更多工具可以查看网站的图像放大工具库：https://www.waytoagi.com/category/17 此外，PMRF 也是一种全新的图像修复算法，它具有以下特点： 擅长处理去噪、超分辨率、着色、盲图像恢复等任务，生成自然逼真的图像。 不仅提高图片清晰度，还确保图片看起来像真实世界中的图像。 能够应对复杂图像退化问题，修复细节丰富的面部图像或多重损坏的图片，效果优质。 详细介绍： 在线体验： 项目地址： 这些 AI 画质增强工具都具有不同的特点和功能，可以根据您的具体需求选择合适的工具进行使用。
2025-04-18
coze搭建工作流调用deepseek如何把模型的输出存入到多维表中
以下是将模型的输出存入到多维表中的步骤： 1. 逐步搭建 AI 智能体： 搭建整理入库工作流。 设置大模型节点提取稍后读元数据，使用 MiniMax 6.5s 245k，设置最大回复长度至 50000，以确保能完整解析长内容网页。 进行日期转时间戳，后续的飞书多维表格插件节点在入库日期字段时只支持 13 位时间戳，需要使用「日期转时间戳time_stamp_13」插件进行格式转化。 把稍后读元数据转换为飞书多维表格插件可用的格式，飞书多维表格插件目前（2024 年 08 月）只支持带有转义符的 string，以 Array<Object>格式输入，所以必须将之前得到的元数据数组进行格式转换。 添加「飞书多维表格add_records」插件，只需要设置{{app_token}}与{{records}}参数，将元数据写入飞书表格。 2. 搭建 Coze 工作流： 打开 Coze 的主页，登录后，在【工作空间】创建一个智能体。 在编排页面，给智能体编辑好人设，可先写一个简单的，然后点右上角自动优化，系统会自动补全更精细的描述。点击工作流的+，创建一个工作流。 大模型节点把 input 给到 DeepSeek，让 DeepSeek 按照提前规定的输出框架生成对应文案。 生图节点将输出给到图像生成组件画图。 结束输出时，两个输出给到最终的 end 作为最终的输出。注意在编写系统提示词时，如果需要 input 可被 DeepSeek 调用，需要用{{input}}作为参数引入，不然大模型不知道自己需要生成和这个 input 相关的结果。编排完，点击【试运行】，调试至满意后点击发布。
2025-04-14
单独调用知识库
以下是关于知识库的相关内容： 创建并使用知识库： 在 Bot 内使用知识库： 1. 登录。 2. 在左侧导航栏的工作区区域，选择进入指定团队。 3. 在 Bots 页面，选择指定 Bot 并进入 Bot 详情页。 4. 在 Bot 编排页面的知识库区域，单击加号图标，添加指定的知识库。 5. （可选）添加知识库后，可以在自动调用下拉界面内，调整知识库的配置项，包括最大召回数量（Bot 在调用知识库匹配用户输入内容时，返回的数据片段数量，数值越大返回的内容越多）、最小匹配度（Bot 在调用知识库匹配用户输入内容时，会将达到匹配度要求的数据片段进行召回。如果数据片段未达到最小匹配度，则不会被召回）、调用方式（自动调用：每轮对话将自动从所有关联的知识库中匹配数据并召回；按需调用：需要在人设与回复逻辑中提示 Bot 调用 RecallKnowledge 方法，以约束 Bot 在指定时机从知识库内匹配数据）。 6. （可选）在预览与调试区域调试 Bot 能力时，扩展运行完毕的内容可以查看知识库命中并召回的分片内容。 在工作流内使用 Knowledge 节点： 1. 登录。 2. 在左侧导航栏的工作区区域，选择进入指定团队。 3. 在页面顶部进入工作流页面，并打开指定的工作流。 4. 在左侧基础节点列表内，选择添加 Knowledge 节点。 Coze 打造 AI 私人提效助理实战知识库： 在上述步骤中创建好知识库后，就可以在智能体中配置知识库了。在 coze 主页，个人空间 > 项目开发中，打开一个需要添加知识库的智能体，可以选择配置“文本”、“表格”、“照片”三种知识库。下面以配置文本知识库作为例子。点击加号，选择在 1.3 中已经提前创建好的知识库，点击添加。下一步就是配置提示词，让智能体自动使用知识库回答问题。在进行大概地描述以后，点击右上角“优化”，可以自动优化提示词，获得更好的结果。最后，在网页最右方的“预览与调试”中，测试智能体是否正常调用知识库。 集合 Deepseek 提示词方法论： DeepSeek R1 提示词系统完全指南： 三、进阶控制技巧： 1. 思维链引导：分步标记法（请逐步思考：1. 问题分析→2. 方案设计→3. 风险评估）、苏格拉底式追问（在得出最终结论前，请先列举三个可能存在的认知偏差）。 2. 知识库调用：领域限定指令（基于 2023 版中国药典，说明头孢类药物的配伍禁忌）、文献引用模式（以 Nature 2022 年发表的论文为参考，解释 CRISPR Cas9 最新突破）。 3. 多模态输出。 四、高级调试策略： 1. 模糊指令优化： 问题类型：宽泛需求，修正方案：添加维度约束，示例对比：原句："写小说"→修正："创作以 AI 觉醒为背景的悬疑短篇，采用多视角叙事结构"。 问题类型：主观表述，修正方案：量化标准，示例对比：原句："写得专业些"→修正："符合 IEEE 论文格式，包含 5 项以上行业数据引用"。 2. 迭代优化法： 1. 首轮生成：获取基础内容。 2. 特征强化：请加强第三段的技术细节描述。 3. 风格调整：改用学术会议报告语气，添加结论部分。 4. 最终校验：检查时间逻辑一致性，列出可能的事实性错误。
2025-04-09
知识库的批量创建和调用
以下是关于知识库的批量创建和调用的详细信息： 使用知识库： 在 Bot 内使用： 1. 登录。 2. 在左侧导航栏的工作区区域，选择进入指定团队。 3. 在 Bots 页面，选择指定 Bot 并进入 Bot 详情页。 4. 在 Bot 编排页面的知识库区域，单击加号图标，添加指定的知识库。 5. （可选）添加知识库后，可以在自动调用下拉界面内，调整知识库的配置项，包括最大召回数量、最小匹配度和调用方式（自动调用或按需调用）。 6. （可选）在预览与调试区域调试 Bot 能力时，扩展运行完毕的内容可以查看知识库命中并召回的分片内容。 在工作流内使用： 1. 登录。 2. 在左侧导航栏的工作区区域，选择进入指定团队。 3. 在页面顶部进入工作流页面，并打开指定的工作流。 4. 在左侧基础节点列表内，选择添加 Knowledge 节点。 创建知识库并上传表格数据： API 方式： 1. 在表格格式页签下，选择 API，然后单击下一步。 2. 单击新增 API。 3. 输入网址 URL 并选择数据的更新频率，然后单击下一步。 4. 输入单元名称或使用自动添加的名称，然后单击下一步。 5. 配置数据表信息后，单击下一步。 5.1 确认表结构：系统已默认获取了表头的列名，您可以自定义修改列名，或删除某一列名。 5.2 指定语义匹配字段：选择哪个字段作为搜索匹配的语义字段。在响应用户查询时，会将用户查询内容与该字段内容的内容进行比较，根据相似度进行匹配。 6. 查看表结构和数据，确认无误后单击下一步。 7. 完成上传后，单击确定。 自定义方式： 1. 在表格格式页面下，选择自定义，然后单击下一步。 2. 输入单元名称。 3. 在表结构区域添加字段，单击增加字段添加多个字段。 4. 设置列名，并选择指定列字段作为搜索匹配的语义字段。在响应用户查询时，会将用户查询内容与该字段内容的内容进行比较，根据相似度进行匹配。 5. 单击确定。 6. 单击创建分段，然后在弹出的页面输入字段值，然后单击保存。 创建文本型知识库： 目前支持 5 种导入类型：本地文档、在线数据、notion、飞书、自定义。 在线数据： 自动采集：支持从单个页面或批量从指定网站中导入内容。 添加单个页面的内容： 1. 添加方式：选择添加单个。 2. 更新频率：选择是否自动更新指定页面的内容及自动更新的频率。 3. 网址 URL：输入要采集内容的网址。 批量添加网页内容： 1. 添加方式：选择批量添加。 2. 根地址或网站地图：输入要批量添加的网页内容的根地址或 sitemap 地址，然后单击导入。 3. 导入成功后，单击确认。 手动采集：支持标注要采集的内容，内容上传成功率高。使用手动采集方式，需要先安装浏览器扩展程序。安装步骤，参考。 1. 在新增 URL 页面，选择手动采集。 2. 在弹出的页面输入要采集内容的网址，然后单击确认。 3. 在弹出的页面上，点击页面下方文本标注按钮，开始标注要提取的内容，然后单击文本框上方的文本或链接按钮。 4. 单击查看数据查看已采集的内容，确认无误后再点击完成并采集。
2025-04-09
我们是搜索团队的产品经理，团队定位倾向于“对于插件的建设与调用”定位，现在要做AI相关的产品规划，请以通俗易懂的方式对以下问题做出回答 1、请通过流程图的方式，介绍【插件/工具】能力在大模型生态架构中的环节、定位、实现流程是什么 2、调研下对于我们搜索团队而言，插件应该做什么，可以做什么 3、思考对于大模型来说，有哪些（通用或垂类）的模块/功能/插件是无法绕开的，或高频使用的，作为我们团队后续争取的发力点（如搜索推荐对于传统综合搜索结果页）
以下是为您提供的关于 AI 相关产品规划的回答： 一、插件/工具能力在大模型生态架构中的环节、定位、实现流程 从 2023 年 3 月份 OpenAI 宣布插件计划开始，到 5 月份上线，其中包括联网、代码、画图三个插件。其实现流程大致为： 1. 经过对模型的微调，检测何时需要调用函数（取决于用户的输入）。 2. 使用符合函数签名的 JSON 进行响应。 3. 在接口层面声明可调用的工具。 4. 使用函数和用户输入调用模型。 5. 使用模型响应调用 API。 6. 将响应发送回模型进行汇总。 二、对于搜索团队，插件可以做和应该做的事 目前没有直接针对搜索团队插件具体可做和应做事项的明确内容，但可以参考 OpenAI 的插件计划，例如开发与搜索相关的特定功能插件，或者探索如何将现有的搜索推荐功能与大模型更好地结合。 三、对于大模型无法绕开或高频使用的模块/功能/插件 目前没有直接指出对于大模型无法绕开或高频使用的具体模块、功能或插件。但从相关信息中可以推测，例如与数据获取和处理相关的插件（如联网）、与技术开发相关的插件（如代码）以及与内容生成相关的插件（如画图）可能是较为重要和高频使用的。对于搜索团队来说，可以考虑在这些方向上寻找发力点，结合搜索推荐等传统功能，开发出更具竞争力的插件。
2025-04-08
coze上提取视频文案的插件有哪些？都是怎么调用的
以下是关于在 coze 上提取视频文案的插件及调用方法： 1. 进入 coze 个人空间，选择插件，新建一个插件并命名，如 api_1。 2. 在插件的 URL 部分，填入通过 ngrok 随机生成的 https 的链接地址。 3. 配置输出参数和 message 输出。 4. 测试后发布插件。 需要注意的是： 1. 如果在生产环境中已有准备好的 https 的 api，可直接接入。 2. 本案例中使用的是 coze 国内版，且案例中的 ngrok 仅供娱乐，在生产环境中勿用。
2025-04-01
如何综合运用插件、工作流、知识库，搭建满足各种需求的智能体，尤其是调用多个智能体，组成像Manus这样的工具？
要综合运用插件、工作流、知识库搭建满足各种需求的智能体，尤其是调用多个智能体组成类似 Manus 的工具，需要了解以下内容： 插件：插件如同一个工具箱，里面可放置一个或多个工具，称为 API。扣子平台有多种类型的插件，如看新闻、规划旅行、提高办公效率、理解图片内容的 API 及能处理多种任务的模型。若平台现有插件不符合需求，还可自行制作添加所需 API。 工作流：工作流类似可视化拼图游戏，可将插件、大语言模型、代码块等功能组合，创建复杂稳定的业务流程。工作流由多个节点组成，开始和结束节点有特殊作用，不同节点可能需要不同信息，包括引用前面节点信息或自行设定信息。 知识库：可上传私有文件作为回答参考。 智能体：智能体是对自定义操作的封装，用于解决特定场景问题。以 ChatGPT 的 GPTs 为例，包括描述作用和回复格式的提示词、作为回答参考的知识库、请求第三方 API 获取实时数据的外挂 API 以及个性化配置等。 例如，在“竖起耳朵听”的智能体中添加了插件和工作流的相关设置。创建智能体时，输入人设等信息，并配置工作流。但需注意，如工作流中使用的插件 api_token 为个人 token 时，不能直接发布，可将其作为工作流开始的输入，由用户购买后输入使用再发布。 此外，在 AI 搜索中，可预置 after_answer 钩子，将请求大模型的上下文和回答发给第三方插件整理成文章或思维导图等格式同步到第三方笔记软件。全流程中有很多节点可做 Hook 埋点，多个插件构成可插拔架构，常用功能可抽离成标准插件用于主流程或辅助流程，还可自定义智能体 Agent 等。
2025-03-29
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14