直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何将自己部署的大模型接入微信?

回答

将自行部署的大型语言模型(Large Language Model, LLM)接入微信,通常需要通过微信的开放平台和相关API来实现。以下是一般步骤的概述:

  1. 微信开放平台注册

    • 首先,你需要在微信开放平台(open.weixin.qq.com)注册成为开发者,并创建一个应用以获取相应的AppID和AppSecret。
  2. 获取权限

    • 根据你的需求,可能需要获取用户的openid,这通常涉及到微信登录授权。用户同意授权后,你的应用将能够获取到用户的openid,进而调用相关接口。
  3. 创建服务器

    • 部署一个后端服务器,这个服务器将作为微信与你的大型语言模型之间的中间层。服务器可以是任何能够处理HTTP请求的语言和框架,如Python的Flask、Django,Node.js的Express等。
  4. 实现业务逻辑

    • 在服务器上实现业务逻辑,包括接收来自微信服务器的请求,并将其转发到你的大型语言模型进行处理。
  5. 接入微信API

    • 使用微信提供的API,如发送客服消息、被动回复用户消息等。你需要根据微信的文档来实现这些API的调用。
  6. 安全性考虑

    • 确保你的服务器安全,包括使用HTTPS、验证请求的合法性(如验证微信服务器的签名)等。
  7. 测试

    • 在微信开放平台的开发者工具中进行测试,确保你的服务能够正确响应微信用户的请求。
  8. 部署上线

    • 测试无误后,将你的服务器部署到公网可访问的位置,并确保微信服务器能够调用你的接口。
  9. 遵守微信规则

    • 遵守微信的运营规则和接口使用限制,避免因违规操作导致应用被封禁。
  10. 监控和维护

    • 部署后,持续监控应用的性能和稳定性,并根据需要进行维护。

请注意,微信的接口和策略可能会更新,因此在开发和部署过程中,需要密切关注微信官方的最新文档和公告。此外,接入微信的过程可能涉及到微信审核和认证,确保你的应用符合微信的接入标准。

如果你是希望将大型语言模型用于微信聊天机器人或其他类似的交互式服务,还需要考虑用户交互的设计、对话管理、意图识别等NLP相关的技术实现。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

其他人在问
如何让企业微信可以接上 AI?让我的企业微信号变成一个 AI 客服
要让企业微信接上 AI 并变成一个 AI 客服,可以参考以下内容: 1. 基于 COW 框架的 ChatBot 实现方案:这是一个基于大模型搭建的 Chat 机器人框架,可以将多模型塞进微信(包括企业微信)里。张梦飞同学写了更适合小白的使用教程,链接为: 。 可以实现打造属于自己的 ChatBot,包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能,以及常用开源插件的安装应用。 正式开始前需要知道:本实现思路需要接入大模型 API 的方式实现(API 单独付费)。 风险与注意事项:微信端因为是非常规使用,会有封号危险,不建议主力微信号接入;只探讨操作步骤,请依法合规使用,大模型生成的内容注意甄别,确保所有操作均符合相关法律法规的要求,禁止将此操作用于任何非法目的,处理敏感或个人隐私数据时注意脱敏,以防任何可能的滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等;多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等;多消息类型支持,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能;多部署方法,如本地运行、服务器运行、Docker 的方式。 2. DIN 配置:先配置 FastGpt、OneAPI,装上 AI 的大脑后,可体验知识库功能并与 AI 对话。新建应用,在知识库菜单新建知识库,上传文件或写入信息,最后将拥有知识库能力的 AI 助手接入微信。
2025-05-09
微信智能客服
以下是零成本、零代码搭建一个智能微信客服的保姆级教程: 1. 起个好名字和给它头像 进入 Bot 主页并开始创建 Bot,网址:https://www.coze.cn/home 。 名字(Bot 名称):善良有爱专业的幼师。 头像(图标):AI 生成后,不喜欢可以重新生成,选择其中一个。 补充:创建 Bot 的方式有两种,点击创建 Bot 和 Coze Assistant。主页上包含这两种方式,示例中通过创建 Bot 创建。侧边导航栏一直有创建 Bot 的方式,仅主页有 Coze Assistant。两者区别在于: 创建 Bot 适合使用过 Bot 且想好名称和描述的人。 Coze Assistant 适合第一次创建 Bot 的人,从说“我想创建 bot”开始,Coze 助理会引导创建,自动生成名称、头像、人设与回复逻辑、开场白文案、开场白预设问题等。 2. 教她技能 如果通过 Coze Assistant 方式创建 Bot,Coze 助理已帮您教她技能,可按需修改完善。 起好名字和头像后进入教技能环节,先看整理布局,找到编排、预览与调试,在编排的人设与回复逻辑教她技能: 教她技能 1:认识自己。 教她技能 2:掌握专业技能。 教她技能 3:不能做什么。 3. 让她教别人 她学会技能后,使命及目标是通过互动方式教会请教的人。 找到高级下开场白,点击展开,填写开场白文案、开场白预置问题,设置 3 个问题。 勾选用户问题建议:在 Bot 回复后,根据 Prompt 提供最多 3 条用户提问建议。 添加语音选择:让她不仅会写,还会通过语音交流。 点击“发布”,选择发布平台:Bot Store、豆包、飞书、微信客服、微信公众号(服务号)、微信公众号(订阅号)、掘金。 Bot Store:Bot 会出现在 Coze Bot 商店中,获取更多曝光和流量。 豆包:一键发布到豆包 App,随时随地对话。 飞书:在飞书中直接@Bot 对话,提高工作生产力。 微信客服:微信沟通更高效,发布流程较复杂,下面是重新注册和解绑后重新配置的流程。 微信公众号(服务号):针对企业,不支持个人注册,订阅号运营主体可为企业或个人。 微信公众号(订阅号):托管公众号消息,助力微信运营。 掘金:在掘金社区 AI 聊天室圈子与 Bot 互动。
2025-04-15
coze的智能体如何接入微信?
要将 Coze 智能体接入微信,可按以下步骤操作: 1. 登录宝塔面板,在宝塔面板中可视化控制云服务器,部署 docker 容器,启动 COW 项目与微信取得关联。具体操作包括:点击“Docker”中的“项目模板”中的“添加”按钮,将编译好的内容复制进来,在容器中创建容器,选择容器编排,填入模板和名称,确定。运行成功后,点击容器,可以看到运行的是两个服务。 2. 在扣子官网左下角选择扣子 API,在 API 令牌中选择“添加新令牌”,为令牌命名,选择永久有效作为过期时间,指定团队空间,勾选所有权限。保存好令牌的 Token,切勿向他人泄露。 3. 获取机器人 ID:在个人空间中找到要接入微信的机器人,进入机器人编辑界面,浏览器地址栏 bot/之后的数据就是该机器人的 Bot ID。 4. 进行 API 授权:点击右上角发布,勾选 Bot as API,确定应用已成功授权 Bot as API。 5. 绑定微信:准备一个闲置的微信,点击容器,点击“wcandyaibot”后面的日志按钮,用提前预备好的微信进行扫码。手动刷新界面,点击“刷新日志”,若看到 WeChat login success,即表示微信登录成功。为确保微信实时在线,点击“日志管理”的“wcandyaibot”的“刷新日志”,若显示“wechat login seccess”则表示微信正常登录中。 6. 效果测试:把绑定的微信号拉到群里或者单独对话,训练的数据越好,对话效果越好。
2025-04-11
怎么搭建微信机器人?
以下是搭建微信机器人的步骤: 1. 登录成功后,找另一个人私聊或者在群中@您,就可以看到机器人的正常回复,此时表示已通。 2. 如果想为这个 AI 赋予提示词,可以返回相应步骤进行更改。例如在“目录 4 里的第 17 步”或“第三章,第 7 步”,其中双引号内的 value 部分,便是设置 AI 提示词的地方。 3. 此后,进行任何更改,都需要重新打印登陆二维码。并且一个月内,不要上来就加好友、最好不要私聊聊天。 4. 报错"wxsid"是因为微信未实名,实名即可解决。 5. 如果没有手机登录,可以使用夜神模拟器模拟手机登录。 6. 重新在“文件”的【终端】里,直接输入 nohup python3 app.py&tail f nohup.out 重新扫码登录。 7. 多次重新登录后,就在宝塔“首页右上角点击重启,重启一下服务器”,清理进程。 8. 熟悉 linux 操作的话,也可以通过重启进程的方式来重启服务。 9. 如果想退出机器人,在手机微信上找到桌面版已登录的信息,点击退出桌面版即可。 此外: 1. Link AI 提供的 100 个,合计 3500 万 GPT3.5 Token 的礼品码。可以用来实现画图、搜索、识图等功能,COW 插件里几乎都支持使用 LinkAI 平台。完成机器人搭建,机器人拉群里,领兑换码。 2. 添加微信,拉您进机器人群,先行体验。 如果您仍旧遇到问题,可以先查询社区知识库,或者加“通往 AGI 之路”群,社区小伙伴们会尽力帮助。也可以加 Stuart 个人微信询问。
2025-04-11
智能微信客服
以下是零成本、零代码搭建一个智能微信客服的保姆级教程: 1. 起个好名字和给它头像 进入 Bot 主页并开始创建 Bot,网址:https://www.coze.cn/home 。 名字(Bot 名称):善良有爱专业的幼师。 头像(图标):AI 生成后,不喜欢可以重新生成,选择其中一个。 补充:创建 Bot 的方式有两种,点击创建 Bot 和 Coze Assistant。主页上包含这两种方式,示例通过创建 Bot 创建。侧边导航栏一直有创建 Bot 方式,仅主页有 Coze Assistant。两者区别为: 创建 Bot 适合使用过 Bot 且想好名称和描述的人。 Coze Assistant 适合第一次创建 Bot 的人,从说“我想创建 bot”开始,Coze 助理会引导创建,自动生成名称、头像、人设与回复逻辑、开场白文案、开场白预设问题等。 2. 教她技能 如果通过 Coze Assistant 方式创建 Bot,Coze 助理已帮教技能,可按需修改完善。 起好名字和头像后进入教技能环节,先看整理布局,找到编排、预览与调试,在编排的人设与回复逻辑教她技能: 教她技能 1:认识自己。 教她技能 2:掌握专业技能。 教她技能 3:不能做什么。 3. 让她教别人 她学会技能后,使命及目标是通过互动方式教会请教的人。 找到高级下开场白,点击展开,填写开场白文案、开场白预置问题,设置 3 个问题。 勾选用户问题建议:在 Bot 回复后,根据 Prompt 提供最多 3 条用户提问建议。 添加语音选择:让她不仅会写,还会通过语音交流。 点击“发布”,选择发布平台:Bot Store、豆包、飞书、微信客服、微信公众号(服务号)、微信公众号(订阅号)、掘金。 Bot Store:Bot 会出现在 Coze Bot 商店中,获取更多曝光和流量。 豆包:一键发布到豆包 App,随时随地对话。 飞书:在飞书中直接@Bot 对话,提高工作生产力。 微信客服:微信沟通更高效,是本次分享重点,发布较复杂,下面是重新注册和解绑后重新配置微信客服的流程。 微信公众号(服务号):针对企业,不支持个人注册,订阅号运营主体可为企业或个人。 微信公众号(订阅号):托管公众号消息,助力微信运营无间断。 掘金:在掘金社区 AI 聊天室圈子与 Bot 互动。
2025-04-10
微信机器人如何配置
微信机器人的配置步骤如下: 1. sum4all 配置 进入插件目录:/root/chatgptonwechat/plugins 找到 sum4all 插件目录下的 config.json.template,复制并粘贴重命名为:config.json 注册并获取 sum4all key:https://pro.sum4all.site/register?aff=T6rP ,新用户注册有送免费额度,大家先使用这个进行试用,后续可改为自己的 openAI key。 把复制的 key,粘贴到 sum4all 的 config.json 文件内。(上方有功能阐述,你想要哪个,就把哪个改成 ture) 2. Apilot 配置 进入插件目录:/root/chatgptonwechat/plugins 找到 Apilot 文件下的 config.json.template,复制并粘贴重命名为:config.json 去 https://admin.alapi.cn/account/center 注册,并复制 key 把复制来的 key,粘贴进入。保存。 3. 分段对话配置替换 找到这个路径:/root/chatgptonwechat/channel/wechat,直接下载以下文件进行替换。 此外,微信的配置相对较简单,只需要主项目的 config.json 文件看看是否有"channel_type"参数,参数值为:"wx",即:"channel_type":"wx"。完成以上所有配置部分后,可以准备启动步骤了: 使用 nohup 命令在后台运行程序。 执行完启动脚本,等待 30s 左右,会看到终端有一个微信登录的二维码,微信扫码登录。 如果您想使用更多辅助功能,比如使用总结文件能力,总结网页内容能力,此时需要安装各种插件。这部分配置查看插件配置管理部分。
2025-04-10
飞书多维表格如何接入gemini?
要将飞书多维表格接入 Gemini,以下是一些相关的操作步骤和说明: 首先,请注意部分操作需要搭配 Google 云服务或自备 API 才可以正常练习,具体内容)。友情提示,从这一部分及以后内容,多数都会是配合代码完成的,如果您是 0 代码学习者,尝试看懂提示词,并在一些 AI 产品上尝试使用。 接下来,课程将深入探讨代码部分。为了运行这个笔记本,需要执行一些设置代码。首先,需要导入 utils 并进行身份验证,这意味着需要设置一些凭证和项目 ID,以便能够从笔记本环境调用云端的 Gemini API。项目包含在云中使用的资源和 Gemini API。这个设置过程确保了笔记本能够正确连接和使用 Gemini 模型。 对于本课程,还需要指定一个区域,即代码将在哪里执行。在这种情况下,使用的是 uscentral1。 接下来,课程将导入 Vertex AI SDK。Vertex AI SDK 可以看作是一个 Python 工具包,帮助用户与 Gemini 交互。通过这个 SDK,可以使用 Python 调用 Gemini API 并获得响应。 在笔记本中,需要初始化 Vertex SDK。这意味着需要告诉 SDK 以下信息: 1. 使用的项目 2. 想要使用 Gemini 模型的区域 3. 用户凭证 通过提供这些信息,Gemini API 就能识别用户身份,并确认用户有权使用 API。 为了使用 Gemini API,需要从 SDK 中导入 generative_model。设置完成后,需要指定具体的模型。这可以通过设置 model 变量来完成,使用刚刚导入的 generative_model,并选择特定的 Gemini 模型。在这个案例中,课程将使用 Gemini 1.0 Pro 版本。这个选择反映了对于当前任务,Gemini Pro 可能是最合适的平衡点,提供了良好的性能和效率。 此外,Gemini 不仅是单一模型,而是一个模型系列,包含不同大小的模型,每种大小都针对特定的计算限制和应用需求而定制。首先是 Gemini Ultra,这是系列中最大和最强大的模型。Gemini Pro 被设计为多功能的主力模型,平衡了模型性能和速度。还有 Gemini Flash,这是一个专门为高容量任务设计的最快、最具成本效益的模型。最后是 Gemini Nano,它是 Gemini 家族中的轻量级成员,专门设计用于直接在用户设备上运行。
2025-03-28
coze开发硬件接入ai
如果您想开发硬件接入 Coze 智能体,以下是一些相关信息: 在服务器设置方面,对于 chatgptonwechat(简称 CoW)项目,可点击“Docker”中的“编排模板”中的“添加”按钮。备注说明版可借用“程序员安仔”封装的代码。将编译好的内容复制进来,在“容器编排”中“添加容器编排”,选择在“编排模板”里创建的“coze2openai”,若无法正常启动,可查看文档后面的“常见问题”。 关于计划,包括弄共学、做网页连接 Coze 等,涉及网页、小程序、App、桌面应用、浏览器插件等方面,还提到了硬件相关的工作安排。 在入门 Coze 工作流方面,首先要明确任务目标与执行形式,包括详细描述期望获得的输出内容(如文本、图像、音频等形式的数据,以及具体格式和结构、质量标准),预估任务的可行性,确定任务的执行形式。例如对于一篇文章,可参照特定框架进行微调,评估任务可行性,结合使用习惯确定预期的执行形式。
2025-03-27
COZE接入企业微信
要将 COZE 接入企业微信,您可以按照以下步骤进行操作: 1. 登录宝塔面板,在宝塔面板中可视化控制云服务器,部署 docker 容器,启动 COW 项目与微信取得关联。具体操作包括:点击“Docker”中的“项目模板”中的“添加”按钮,将编译好的内容复制进来,在容器中创建容器,选择容器编排,填入模板和名称,确定。运行成功后,点击容器,查看运行的服务,手动刷新日志,若看到“WeChat login success”,则接入成功。 2. 在 COZE 官网左下角选择 COZE API,在 API 令牌中选择“添加新令牌”,为令牌命名,选择永久有效,指定团队空间,勾选所有权限,保存好令牌的 Token,切勿向他人泄露。 3. 获取机器人 ID:在个人空间中找到要接入微信的机器人,进入机器人编辑界面,浏览器地址栏“bot/”之后的数据即为该机器人的 Bot ID。 4. 进行 API 授权:点击右上角发布,出现“Bot as API”,勾选并确定应用已成功授权。 5. 配置微信客服: 访问微信客服 https://kf.weixin.qq.com/,点击开通,勾选同意,点击下一步,按步骤填写,注册企业微信。 点击配置,到微信客服的企业信息,复制企业 ID 到 COZE 页面进行粘贴填写企业 ID,并点击下一步。 到微信客服的开发配置,找到回调配置,复制 Token、EncodingAESKey(若为空,点击“随机获取”),到 COZE 页面进行粘贴,点击下一步。 到微信客服的开发配置,配置回调地址 URL、复制 Secret 到 COZE 页面粘贴。 到微信客服的客服账号,创建一个客服账号,复制客服账号名称,到 COZE 页面粘贴,点击保存。 请注意,第一次设置回调地址时,目前需要企业认证,才可以进行接入微信客服。如果企业没有进行认证,则会在配置回调 URL 时报错:回调域名校验失败。另外,之前未进行企业认证就发布过微信客服的不受影响。
2025-03-21
COZE接入企业微信
要将 COZE 接入企业微信,您可以按照以下步骤进行操作: 1. 登录宝塔面板,在宝塔面板中可视化控制云服务器,部署 docker 容器,启动 COW 项目与微信取得关联。具体操作包括:点击“Docker”中的“项目模板”中的“添加”按钮,将编译好的内容复制进来,在容器中创建容器,选择容器编排,填入模板和名称,确定。运行成功后,点击容器,查看运行的服务,手动刷新日志,若看到“WeChat login success”,则成功接入微信。 2. 在 COZE 官网左下角选择 COZE API,在 API 令牌中选择“添加新令牌”,为令牌命名,选择永久有效,指定团队空间,勾选所有权限,保存好令牌的 Token,切勿向他人泄露。 3. 获取机器人 ID:在个人空间中找到要接入微信的机器人,进入机器人编辑界面,浏览器地址栏“bot/”之后的数据即为该机器人的 Bot ID。 4. 进行 API 授权,点击右上角发布,勾选 Bot as API,确定应用已成功授权 Bot as API。 5. 配置微信客服: 访问微信客服 https://kf.weixin.qq.com/,点击开通,勾选同意,点击下一步,按步骤填写,注册企业微信。 点击配置>到微信客服的企业信息,复制企业 ID>到 COZE 页面进行粘贴填写企业 ID,并点击下一步。 到微信客服的开发配置,找到回调配置,复制 Token、EncodingAESKey(若为空,点击“随机获取”),到 COZE 页面进行粘贴,点击下一步。 到微信客服的开发配置,配置回调地址 URL、复制 Secret 到 COZE 的页面粘贴。 到微信客服的客服账号,创建一个客服账号,复制客服账号名称,到 COZE 的页面粘贴,点击保存。 请注意,第一次设置回调地址时,目前需要企业认证,才可以进行接入微信客服。如果企业没有进行认证,则会在配置回调 URL 时报错:回调域名校验失败。另外,之前未进行企业认证就发布过微信客服的不受影响。
2025-03-21
COZE接入企业微信
要将 COZE 接入企业微信,可参考以下步骤: 1. 登录宝塔面板,在宝塔面板中可视化控制云服务器,部署 docker 容器,启动 COW 项目与微信取得关联。具体操作包括:点击“Docker”中的“项目模板”中的“添加”按钮,将编译好的内容复制进来,在容器中创建容器,选择容器编排,填入模板和名称,确定。运行成功后,点击容器,可看到运行的两个服务。然后点击“wcandyaibot”后面的日志按钮,在弹出层中用提前预备好的微信进行扫码。此界面不会实时更新显示,需手动刷新,若看到“WeChat login success”,则接入微信成功。 2. 在扣子官网左下角选择扣子 API,在 API 令牌中选择“添加新令牌”,为令牌命名,选择永久有效作为过期时间,选择指定团队空间,勾选所有权限。保存好令牌的 Token,切勿向他人泄露。 3. 获取机器人 ID:在个人空间中找到要接入微信的机器人,进入机器人编辑界面,浏览器地址栏“bot/”之后的数据即为该机器人的 Bot ID。 4. 进行 API 授权:点击右上角发布,勾选 Bot as API,确定应用已成功授权 Bot as API。 5. 配置微信客服: 访问微信客服 https://kf.weixin.qq.com/,点击开通,勾选同意,点击下一步,按步骤填写,注册企业微信。 点击配置>到微信客服的企业信息,复制企业 ID>到 coze 页面进行粘贴填写企业 ID,并点击下一步。 到微信客服的开发配置,找到回调配置,复制 Token、EncodingAESKey(若为空,点击“随机获取”),到 coze 页面进行粘贴,点击下一步。 到微信客服的开发配置,配置回调地址 URL、复制 Secret 到 coze 的页面粘贴。 到微信客服的客服账号,创建一个客服账号,复制客服账号名称,到 coze 的页面粘贴,点击保存。 注意:目前需要企业认证,才可以进行接入微信客服。如果企业没有进行认证,则会在配置回调 URL 时报错:回调域名校验失败。另外,之前未进行企业认证就发布过微信客服的不受影响。
2025-03-21
大模型的系统提示词
大模型的系统提示词主要包括以下方面: 1. 在“五津:一键生成‘摸鱼打工猫’视频”中,针对用户选择的主题和回答,总结用户的创作意图,如“打工猫摸鱼的 2 小时,在巴厘岛能看一场日落”,并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词,以数组形式输出到“tishici”,将用户意图输出到“biaoti”。 2. 在“云中江树:智能对决:提示词攻防中的 AI 安全博弈”中,系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意;模型侧对于有能力的厂商应增强安全性并平衡性能,开发者则要在开发中带着安全意识优化系统提示词,加入安全引导和禁止内容等;输出侧可使用传统防御和内容过滤手段,并针对大模型特点进行私有数据泄露等检查。此外,还提到间接注入和提示词泄露的情况,间接注入常发生在应用获取依赖外部数据资源时,攻击者通过隐藏恶意指令完成攻击;提示词泄露指试图操纵模型输出获取部分或全部系统提示词,大模型输出内容可分为系统提示词、用户提示和助手提示词三段,通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash,这3个视觉理解大模型哪个最厉害?
以下是对通义千问 Qwen2.5VL 模型的介绍: 版本:有 3B、7B 和 72B 三个尺寸版本。 主要优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 然而,对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型,目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容,因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看,其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面,较为突出的有 DeepSeek 的 JanusPro 模型,它将图像理解和生成统一在一个模型中;还有通义千问的视觉理解模型,其价格有较大降幅。此外,Pixverse V3.5 是全球最快的 AI 视频生成模型,在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型,因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点: 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验,具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接,产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务,适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景,如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点: 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情,全靠用户脑补,导致用户上头期短,疲劳度高,长期留存低。 3. 无法回答私有领域问题(如公司制度、人员信息等)。 4. 无法及时获取最新信息(如实时天气、比赛结果等)。 5. 无法准确回答专业问题(如复杂数学计算、图像生成等)。
2025-04-14
如何本地部署大模型,如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容: 本地部署大模型的主要步骤: 1. 选择合适的部署方式,包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础,可以使用开源的预训练模型如 BERT、GPT 等,也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 5. 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护,大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤: 1. SDXL 的大模型分为两个部分,base+refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于对生成的模型进行细化,生成细节更丰富的图片。还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型,首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中,base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后,启动 webUI,就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤: 1. 下载并安装 Ollama,点击进入根据电脑系统下载 Ollama:https://ollama.com/download ,下载完成后,双击打开,点击“Install”,安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)。如果是 windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行,粘贴进入,点击回车,等待下载完成。 总的来说,部署大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下: 1. 模型下载:SDXL 的大模型分为两个部分,第一部分 base + refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外,还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】,回复【SDXL】获取云盘下载链接。 2. 版本升级:要在 webUI 中使用 SDXL 的大模型,需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型:将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用:完成上述步骤后启动 webUI,即可在模型中看到 SDXL 的模型。正常使用时,先在文生图中使用 base 模型,填写提示词和常规参数(如尺寸设置为 10241024)进行生成。然后将图片发送到图生图当中,大模型切换为“refiner”,重绘幅度开小一点再次点击生成。 5. 插件辅助:若觉得操作麻烦,可在扩展列表中搜索 refine 安装插件并重启,启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外,关于本地部署资讯问答机器人:Langchain + Ollama + RSSHub 实现 RAG,步骤包括导入依赖库(如 feedparse 用于解析 RSS 订阅源,ollama 用于在 python 程序中跑大模型,使用前需确保 ollama 服务已开启并下载好模型)、从订阅源获取内容(通过指定函数从 RSS 订阅 url 提取内容,并将长文本拆分成较小的块附带相关元数据)、为文档内容生成向量(使用文本向量模型 bgem3,从 hf 下载好模型后放置在指定路径,通过函数利用 FAISS 创建高效的向量存储),最终实现 RAG。
2025-04-13
我有秋叶整合包,然后需要怎么搭建本地部署?
以下是使用秋叶整合包搭建本地部署的步骤: 1. 下载整合包:可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器,可一键启动。如果有其他需求,可以在高级选项中调整配置。 显存优化根据显卡实际显存选择,不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度,建议开启。 4. 准备工作完毕后,点击一键启动即可。等待浏览器自动跳出,或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch,则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁,请根据需求在“版本管理”目录下更新,同时注意插件的更新。 在 webui 的“扩展”选项卡下,可以安装插件。点击“加载自”后,目录会刷新,选择需要的插件点击右侧的 install 即可安装。安装完毕后,需要重新启动用户界面。 具体安装方法: 1. 打开整合包链接(https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ,提取码:caru),下载《1.整合包安装》,存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》,鼠标右击文件,点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘(避免 C 盘被占满),点击确定。 5. 解压完成后,来到第二个文件夹,双击里面的文件,点击安装。 6. 打开刚刚解压保存的 SD 的根目录,找到启动器,鼠标右击启动器,点击“发送到”,选择桌面快捷方式,方便下次进入。 7. 双击启动器,等待更新,接着点击左边第二个“高级选项”,在显存优化里,根据自己电脑的显存选择。 8. 回到第一个一键启动,点击右下角的一键启动。出现代码页面不用管,等待 SD 的主界面在网页上自动弹出。如果出现报错,可以回到最开始的界面,在左边点击“疑难解答”,再点击右边的“开始扫描”,最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式: 通过云服务器、dify、智能微秘书来免费搭建微信机器人: 1. 在宝塔面板的终端安装相关命令,这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量,若 nginx 容器无法运行,可能是 80 端口被占用,可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP(去掉后面的:8888),进入后邮箱密码随便填,建立知识库并进行设置。 4. 选择模型,国内模型有免费额度可选,如智谱 ai,获取钥匙并复制保存,创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人: 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key,将 Ai_Lock 修改成“1”,并在 OpenAI 处添加模型 key;若没有,保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下,找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框,正常登录微信,等待系统自动初始化必备文件。 6. 运行成功后,用“大号”给机器人发消息,拿到 wxid 并返回替换。 7. 添加完后,用小号登录,大号可对小号发号施令。 部署和训练自己的 AI 开源模型: 1. 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础,如开源的 BERT、GPT 等,也可自行训练基础模型。 4. 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调,优化模型结构和训练过程以提高性能。 5. 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护,重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说,部署和训练自己的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等,根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)的相关内容: 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中,打开右上角设置,进入模型提供商,配置 Ollama 相关信息,基础 URL 按要求设置,设置完成后点击确定。 导入一个 embedding 模型用于文本向量化,导入成功后设置系统模型设置,然后返回知识库创建知识库。 进入数据集,导入文件(可设置文件夹当作知识库),导入完毕后解析文件,解析速度取决于本机 GPU 性能,解析好后进行检索测试,测试没问题即可进入聊天界面,助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序,官方网址:https://ollama.com/ 。 下载默认到 C 盘(一般为固态盘,运行速度快),若想修改安装目录到 D 盘,后续会有说明。 下载完右下角会出现 Ollama 图标,打开命令行输入相关命令回车。 若显卡是英伟达 2060Super,可选择 Deepseekr1:14b 的模型,根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型,Ollama 的 bge 模型官方网址:https://ollama.com/library/bgem3 ,输入相关命令,下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了?这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith:革新你的工作方式,体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith:探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙?硅基流不动?看看这篇,内含 18 个平台,可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度:Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题:自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型,如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤: 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址:https://useanything.com/download 安装完成后进入配置页面,主要分为三步: 第一步:选择大模型 第二步:选择文本嵌入模型 第三步:选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式,提供了 Chat 模式(大模型根据训练数据和上传文档数据综合给出答案)和 Query 模式(大模型仅依靠文档中的数据给出答案)。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入,根据电脑系统,下载 Ollama:https://ollama.com/download 下载完成后,双击打开,点击“Install” 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制相关命令行,粘贴进入,点击回车。 三、智能纪要中的相关内容 在智能纪要中,许键介绍了模型 API 调用方法与知识库创建,包括获取 API key 位置及调用设置,详细讲解了创建 Rag 应用(知识库)流程,如上传非结构化文件、数据解析、切分段落等操作,并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨,以及通义千问相关应用及明天课程安排交流等内容。 总之,本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置,同时不断实践和探索,以达到理想的效果。
2025-04-10