Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

怎么部署GPTs的api？

Answer

部署 GPTs 的 API 可以参考以下步骤：

  1. 参考文章GPTs Action 实战：儿童汉语词典，了解之前的部署情况。
  2. 登录地址https://gapier.com/，点击 Copy Link 进行复制 Actions API 链接。
  3. 配置 GPTs Actions API：
    • 打开 ChatGPT，点击创建 GPTs>Configure>Create new action。
    • 输入来自 Gapier 的 Actions API 并点击 Import。
  4. 授权：
    • 在 Gapier 复制授权码。
    • 在 Authentication 下选择配置图标，进入授权页面。
    • 按照以下设置进行配置：
      • Authentication Type：选择 API Key。
      • Auth Type：选择 Basic。
      • 输入从网站上复制的授权码并点击 Save。
  5. 引用 Action：
    • 确定调用的 Action，并在 Prompt 中引用。
    • 查看 Action 的方式分为两种：
    • 另外一种引用的方式是：只要在 Instructions 中申明清楚需求，GPT 会自动选择合适的 API。

此外，还需注意以下几点：

  1. 了解 OpenAPI 规范，通过 Schema 让 ChatGPT 懂这个 API。
  2. 对于带参数的 Post 请求，需要创建规范文件、修改 GPTs 的 Action、调整 Prompt 等。
  3. 注意如果不和说传入中文，它会给我们翻译了再传。
Content generated by AI large model, please carefully verify (powered by aily)

References

如何利用 AI 帮助孩子爱上查字典

嘿，大家好呀，我是景淮，一个在加拿大的朋友，每天陪你一起玩转AI。今天终于腾出时间，更新了一下之前的一个GPTs：儿童汉语词典具体内容可以参考下下面的文章[GPTs Action实战：儿童汉语词典](https://awxs5sgbswq.feishu.cn/docx/WwALdnvPIoPE7ExLTLnchFYNnwh?from=from_copylink)因为今年3，4月份的时候AirCode的服务器停止运行了，所以这个GPTs也就同时停止使用啦~当时把API架在AirCode的服务器上了。今天终于抽出空，自己写了API接口还有弄了下服务器，把需要使用的API放在了对应的我自己的服务器上。所以也就借着这个机会把，这个部署的过程和代码记录和分享一下。本文会根据以下内容顺序进行：ChatGPT GPTs使用链接和一些问题扣子搭建逻辑图使用扣子重新搭建总结

熊猫Jay：GPTs 从入门、进阶、实践到防护的万字教程

接下来我们实操下如何配置Gapier Actions API。[heading4]1、登录并复制链接[content]登录地址：[https://gapier.com/](https://gapier.com/)点击Copy Link进行复制Actions API链接。[heading4]2、配置GPTs Actions API[content]在配置GPTs Actions前，我们了解下平台上支持哪些功能。打开ChatGPT，点击创建GPTs>Configure>Create new action.关于如何配置GPTs，可以查看文档：输入来自Gapier的Actions API。并点击Import。导入成功。[heading4]3、授权[content]在Gapier复制授权码，用于授权。在Authentication下选择配置图标，进入授权页面。开始配置授权码：1.Authentication Type：选择API Key2.Auth Type：选择Basic3.输入从网站上复制的授权码。并点击Save。若需要分享给他人或者公开发布，需要配置隐私策略码。在网页上寻找并复制。回到GPT上进行配置。[heading4]4、引用Action[content]确定调用的Action，并在Prompt中引用。查看Action的方式分为两种，方式一：GPTs>Configure>Actions页面。方式二：网页查看，地址为[https://gapier.com/actions](https://gapier.com/actions)回到GPT>Configure页面，引用Action，比如这里我调用思维导图的API，直接输入调用GenerateMindMap API即可。此外，另外一种引用的方式是：只要我们在Instructions中申明清楚需求，GPT会自动选择合适的API。保存后，我们来试用一下。

大雨：如何让GPTs调用我们自己的服务

前面我们提到了，通过Schema，ChatGPT就懂这个API，这并不是OpenAI独创的，而是发展了很多年的一个规范，https://spec.openapis.org/oas/v3.1.0为了让这些能力公开出去，形成了这样的规范，首先是让使用的人看明白，其次才是计算机能懂。我现在系统做好了，如何去生成这样一份文件给ChatGPT呢，对照这个规范去写，显然是非常不"AI"的做法。ChatGPT为此提供了一个GPTs—[ActionsGPT](https://chat.openai.com/g/g-TYEliDU6A-actionsgpt)。这里用的是GET请求，如果是Post它也有个示例，如下这个文件我们用工具自动生成，放在服务器上，提供接口给GPTs去引用，也就是创建GPTs的时候可以Import URL。前面的示例中，只展示一个请求，而且是Get请求，那如何用Post请求呢，传入2个参数，数据类型还不一样，要如何做呢。[heading2]2.2、一个带参数的Post请求[heading3]创建规范文件[content][heading3]修改GPTs的Action[content]修改好了回到GPTs配置界面修改Instructions[heading3]调整Prompt[content]从这里我们可以看出来，它会调用API，传入合适的参数。这里要注意的是，如果不和说传入中文，它会给我们翻译了再传。如图[heading3]看看API代码逻辑是啥样的[content]通过这样2个代码，我们就可以开始构建自己的服务提供给GPTs，让它实实在在给我们的工作提效了。

Others are asking
可以查看GPTs是怎么设置的吗
以下是关于 GPTs 设置的详细步骤： 1. 放入完整的 Schema，并点击 Format 进行验证，如果不报错并显示出 Available Action 的列表，则代表成功。 2. 进行授权，输入 ClientID YOUR_ACCESS_KEY，如 ClientID 123456，并点击 Save。 3. 点击对应 Action 的 Test 验证 Action 是否可以调用。如果遇到返回数据过多造成异常的情况，也代表成功，只需在提示词中限定接口返回的数量即可。 4. 为了 GPTs 后期发布和分享，需要配置 Privacy Policy，其位置一般在网站的底部或者菜单的底部。复制 Privacy Policy 网页地址，如 Privacy policy 地址为：https://unsplash.com/privacy 。 5. 完善 GPTs 的基本配置。 6. 提示词调用方面，根据图片中各个对应关系，执行的操作需要指定 action 的名称，需要显示的字段名称指定具体的位置，比如图片作者，则使用 user.name，这样更加精确，不容易出错。完整提示词如下。注意，如果遇到图片目前无法直接显示，可以使用下载链接的方式查看，如下为应对方案的提示词和效果。如果有更好的方案，欢迎提供。 实操配置 Gapier Actions API 的步骤如下： 1. 登录地址：，点击 Copy Link 进行复制 Actions API 链接。 2. 打开 ChatGPT，点击创建 GPTs>Configure>Create new action。了解平台上支持的功能，输入来自 Gapier 的 Actions API 并点击 Import，导入成功。 3. 在 Gapier 复制授权码用于授权。在 Authentication 下选择配置图标，进入授权页面。开始配置授权码： Authentication Type：选择 API Key Auth Type：选择 Basic 输入从网站上复制的授权码，并点击 Save。若需要分享给他人或者公开发布，需要配置隐私策略码，在网页上寻找并复制，回到 GPT 上进行配置。 4. 确定调用的 Action，并在 Prompt 中引用。查看 Action 的方式分为两种，方式一：GPTs>Configure>Actions 页面；方式二：网页查看，地址为。回到 GPT>Configure 页面，引用 Action，比如调用思维导图的 API，直接输入调用 GenerateMindMap API 即可。此外，另外一种引用的方式是：只要在 Instructions 中申明清楚需求，GPT 会自动选择合适的 API。保存后试用。 创建一个 Http 服务让 GPTs 调用的步骤如下： 1. 创建一个每次产生一个随机数的 Http 服务，体验地址如下：https://gptaction.iaiuse.com/api/random 。 2. 直接在 Instructions 里面写，让它去调用接口。窗口最下面有个 Actions，这里就可以设置它和外部系统的接口。 3. 打孔 Add actions 界面，录入相关代码在 Schema 里面。点击下面的 Test 按钮，就能看到 ChatGPT 如何和服务进行交互。第一次允许它会提示是否允许外部服务，点击右边的小三角可以看到对话框，最右边那个隐私政策就是前面设置的。针对每个 action 都可以设置独立的隐私政策。通过这样一个简单的示例，了解 GPTs 如何和外部的服务进行交互，扩展它的能力。
2025-02-09
我要做GPTs
做 GPTs 的原因主要有以下几点： 1. 从社会层面看，虽然 AI 信息充斥，但大多数人对其了解有限，直接面对大模型时交流有限。而 Character.ai 因创造具体角色，数据居高不下，这表明需要明确的引导，而 GPTs 的创作者们可以做到这一点。 2. 对于平台来说，需要场景反哺产品，也需要先行者带动，形成双赢的共存生态。 3. 从从业者角度，如作者自身，虽有丰富经验，但在做 LLMs 应用时面临诸多问题，如找不到落脚点、技术与业务的断档等。懂技术的人不懂业务，熟悉业务的人对新技术没概念。 4. 从产品角度，普通用户的简单交流大模型难以明白其意图，而 GPTs 通过对话引导逐步获取用户信息，将生成高质量 Prompt 的过程拆解为以一轮对话为最小单元任务的重复，解决了用户说什么以及低门槛生成高质量 Prompt 的问题。
2024-11-21
GPTs 结构化提示词模板
以下是为您整理的关于 GPTs 结构化提示词模板的相关内容： 简单的提示词模板：最终目标是把需求说清楚。例如，“Act like a ”。 GPTs 教程及案例拆解 开源：一些 GPTs 的 prompt 中，如超强 LOGO 生成器，其使用方法为设计一个 logo 生成工具，允许用户上传多张 logo 图片作为参考，通过提示询问用户是否使用这些图片来创建新的 logo 设计，可自定义提示词风格和设定图片参考权重，利用 GPT4 Vision 的识图能力生成新 logo 设计，若用户不满意则重新生成，创作完后提示用户是否满意，满意则提供转 LOGO 矢量图的链接。 GPTs 教程及案例拆解 精选：GPTs 项目包括 Reviewer2Pal，可帮用户将直白的英文论文回应转换为专业回复；方法论专家 Methodology Expert，辅助用户使用方法论解决相关问题；灵感专家 Brainstorming Expert，辅助用户进行灵感思考和提出发散性角度；自动结构化框架，由小七姐编写，欢迎关注其公众号“AI 中文百科”领取更多好玩的 GPT 工具。
2024-11-07
My GPTs使用技巧
以下是关于 GPTs 的使用技巧： 教育方面：一位历史老师用 GPT 给学生讲课，需注意模拟历史存在不准确之处，有时幻觉可能是特点而非缺陷。文末提供了可用于模拟不同历史设置的详细提示链接，也可用于 Claude 或 ChatGPT（免费版效果相当，GPT4 效果最佳）。 入门方法： 创建方式： 点击 Explore。 点击 Create a GPT 进入配置页面。 进入自定义 GPT 配置界面。 选择 Configure 进入配置页面，栏位详细解释包括添加图像、Name（GPT 名称）、Instructions（提供提示词）、Conversation starters（提示用户开始对话的示例）、Knowledge（允许提供文件作为额外上下文）、Capabilities（启用网页浏览、DALL·E 图像生成和高级数据分析等功能）、Actions（使用第三方 API 或现有的插件）。 上传个人 Logo 等图片。 填写相关信息，如无外部知识作为上下文，可不填写 Knowledge 和 Actions。 填写完自动保存，试用。 上传图片开始分析。 多次测试满意后，可在右上角点击 Save 进行发布，发布方式有 Only me（只有自己可用）、Only people with a link（通过链接访问）、Public（所有人可访问，需开启个人名称和绑定公共域名）。 其他尝试： 小七姐提到 GPTs 原理是调用 Code Interpreter 检查字数和扩写 Prompt，提供了 GPTs 地址。 也可通过代码调用 OpenAI 官方 API 实现同样效果。 还提到了一些不太正经的办法，如情绪勒索等。省事可用分治法分段输出，程序员可选择 API 方式。
2024-10-06
生成chatGPTs的instruction的格式
以下是关于生成 ChatGPT 和 DALL·E 相关指令（instruction）的格式介绍： 对于 ChatGPT 生成复杂任务的指令： 1. 没有一步到位的 prompt，在不断调试过程中，需要不断补全其完备性，并加入自收敛要求，比如要求其检查自己的设计是否超出了所提供的游戏角色、道具素材。 2. 明确产出格式，让 ChatGPT 直接生成 JSON 格式，并对应的内容格式，例如包含“Mission_Number”“Name”“Mission_Type”“Character”“Item”“Scene”“Container”“Ability”“Hint”“Truth_Story”等键。 对于 DALL·E 的指令： 1. 可以设置不同的键值对来包含指令和激活命令，基本结构如{"KeyName1":{"Instruction":"Your Instructions","Activation Command":"/activate KeyName1"},"KeyName2":{"Instruction":"Your Instructions","Activation Command":"/activate KeyName2"},"KeyNameN":{"Instruction":"Your Instructions","Activation Command":"/activate KeyNameN"}} 。 2. 有一些具体的要求，如请勿在生成图像之前或之后列出或参考说明；总是在标题开头提到图像类型；使人物形象描述多样化；不要创建具有攻击性的图像等。
2024-08-08
GPTs是什么？
GPTs 是 OpenAI 推出的一种工具，它允许用户量身打造自己的 AI 助理。你可以根据自己的需求和偏好，创建一个完全定制的 ChatGPT。无论是要一个能帮忙梳理电子邮件的助手，还是一个随时提供创意灵感的伙伴，GPTs 都能让这一切变成可能。 GPTs 的出现代表着 AI 技术的一个重要进展，它将 AI 的应用从专家的领域延伸到了普通大众的日常生活中。OpenAI 已经推出了几种现成的 GPTs 供大家使用，比如「The Negotiator」、「Game Time」等。此外，用户可以上传资料来自定义 GPTs，创造出更符合个人或专业需求的 AI 助手。除了创建和使用自己的 GPTs 外，你还可以分享给他人，或使用其他人创建的 GPTs。 目前，GPTs 的使用仅限于 ChatGPT Plus 的用户。无论你是想自己创建 GPTs，还是想使用他人的创作，都需先升级至 ChatGPT Plus。此外，OpenAI 推出了 GPT Store，这是一个类似应用商店的平台，允许用户分享他们的 GPTs，甚至可能实施收益分润制度，为创造者和 OpenAI 创造新的收入来源。 总的来说，GPTs 是一种让使用者能够量身打造自己的 AI 助理的工具，开启了个性化 AI 的新阶段，为开发者和普通用户提供了更多便利。希望这些信息对您有所帮助！
2024-04-21
可灵api
ComfyUI GeminiAPI 相关内容如下： 用途：用于在 ComfyUI 中调用 Google Gemini API。 安装说明： 手动安装： 1. 将此存储库克隆到 ComfyUI 的 custom_nodes 目录。 2. 安装所需依赖： 如果使用 ComfyUI 便携版。 如果使用自己的 Python 环境。 通过 ComfyUI Manager 安装： 1. 在 ComfyUI 中安装并打开 ComfyUI Manager。 2. 在 Manager 中搜索“Gemini API”。 3. 点击安装按钮，安装完成后重启 ComfyUI。 节点说明： Gemini 2.0 image：通过 Gemini API 生成图像的节点。 输入参数： prompt（必填）：描述想要生成的图像的文本提示词。 api_key（必填）：Google Gemini API 密钥（首次设置后会自动保存）。 model：模型选择。 width：生成图像的宽度（512 2048 像素）。 height：生成图像的高度（512 2048 像素）。 temperature：控制生成多样性的参数（0.0 2.0）。 seed（可选）：随机种子，指定值可重现结果。 image（可选）：参考图像输入，用于风格引导。 输出： image：生成的图像，可以连接到 ComfyUI 的其他节点。 API Respond：包含处理日志和 API 返回的文本信息。 使用场景： 创建独特的概念艺术。 基于文本描述生成图像。 使用参考图像创建风格一致的新图像。 基于图像的编辑操作。 API key 获取：在 Google 的 AI Studio 申请一个 API key（需要网络环境），有免费的额度，访问 https://aistudio.google.com/apikey?hl=zhcn 。 温度参数说明：温度值范围为 0.0 到 2.0，较低的温度（接近 0）生成更确定性、可预测的结果，较高的温度（接近 2）生成更多样化、创造性的结果，默认值 1.0 平衡确定性和创造性。 注意事项： API 可能有使用限制或费用，请查阅 Google 的官方文档。 图像生成质量和速度取决于 Google 的服务器状态和您的网络连接。 参考图像功能会将您的图像提供给 Google 服务，请注意隐私影响。 首次使用时需要输入 API 密钥，之后会自动存储在节点目录中的 gemini_api_key.txt 文件中。
2025-04-14
deepseek api
Jina DeepSearch 是一项基于推理大模型的深度搜索服务，其 API 已上线且开源。它可以在搜索时进行不断推理、迭代、探索、读取和归纳总结，直到找到最优答案为止。与 OpenAI 和 Gemini 不同，Jina DeepSearch 专注于通过迭代提供准确的答案，而不是生成长篇文章。它针对深度网络搜索的快速、精确答案进行了优化，而不是创建全面的报告。 使用入口：官方深度搜索 API 与 OpenAI API 架构完全兼容，您可以前往官网（jina.ai/deepsearch）了解详情；或者前往应用页面（search.jina.ai）体验。 此外，北京时间 00:30 至 08:30 期间，DeepSeek API 价格大幅下调。DeepSeekV3 降至原价的 50%，DeepSeekR1 低至 25%，鼓励用户在夜间空闲时段调用 API，以更低成本享受服务。
2025-03-30
api
以下是关于 API 的相关信息： ComfyUI GeminiAPI： 用于在 ComfyUI 中调用 Google Gemini API。 安装说明： 手动安装：将存储库克隆到 ComfyUI 的 custom_nodes 目录，安装所需依赖（根据使用的 ComfyUI 版本有所不同）。 通过 ComfyUI Manager 安装：在 ComfyUI 中安装并打开 ComfyUI Manager，搜索“Gemini API”并点击安装按钮，安装完成后重启 ComfyUI。 节点说明： Gemini 2.0 image：通过 Gemini API 生成图像的节点。输入参数包括必填的 prompt、api_key，可选的 model、width、height、temperature、seed、image 等。输出包括生成的图像和 API Respond。使用场景包括创建独特的概念艺术、基于文本描述生成图像、使用参考图像创建风格一致的新图像、基于图像的编辑操作。 API 与速率限制： 速率限制是 API 对用户或客户端在指定时间内访问服务器的次数施加的限制。 速率限制的原因包括防止滥用或误用 API、确保公平访问、管理基础设施负载等。 OpenAI 的 API 提供商在 API 使用方面有限制和规定，不同用户类型可获得不同的速率限制，若请求超过限制将返回错误响应。 关于 API 的一般性描述： API 就像是一个信差，接受一端的请求，告诉系统用户想要做的事情，然后把返回的信息发回。 学习使用 GPT 的 Action 工作流包括：确定想要的 GPT 及是否需要外部数据，寻找 API 文档或开发 API 以及编写 Action 里的 Schema 和 Prompt。 对 Action 感兴趣可以从系统了解和学习 API 相关知识、在网上寻找可用的 API 练习、发掘 GPT Action 更多潜力等方向继续前进。
2025-03-29
扣子api的调用流程
扣子 API 的调用流程如下： 1. 传递请求的相关部分： Body：用于传递请求的主体部分，可以是 JSON、XML 或其他类型的数据。在 GET 方法中通常不用于传递参数，因为 GET 方法的 URL 已包含必要参数。 Path：用于定义请求的路径部分，通常以“/”开头，后面跟着一系列段落。在 GET 方法中可传递参数，但常编码为 URL 一部分。 Query：用于定义请求的查询部分，通常以“?”开头，后跟一系列键值对。在 GET 方法中是常用的参数传递方式。 Header：用于定义 HTTP 请求的头信息部分，包括各种头部字段。在 GET 方法中通常不用于传递参数，而是定义请求头部信息。 2. 配置输出参数： 如果填写无误，可直接点击自动解析，会自动调用一次 API 给出对应的输出参数。 例如填入汉字“张”，点击自动解析。解析成功会显示成功，输出参数填好后点击保存并继续。参数描述可根据需求填写。 3. 调试与校验： 测试工具是否能正常运行。 运行后查看输出结果，Request 为输入的传参，Response 为返回值，点击 Response 可看到解析后的参数。 此外，创建扣子的令牌步骤如下： 在扣子官网左下角选择扣子 API，在 API 令牌中选择“添加新令牌”，为令牌起名，选择过期时间（如永久有效），选择指定团队空间（个人空间或团队空间），勾选所有权限，保存好令牌的 Token，切勿向他人泄露。 让 Coze 智能体机器人连上微信和微信群的配置： 1. 获取机器人 ID：在个人空间中找到要接入微信的机器人，如画小二智能小助手，点击进入编辑界面，浏览器地址栏 bot/之后的数据即为机器人的 Bot ID。 2. API 授权：点击右上角发布，会出现 Bot as API，勾选并确定应用已成功授权 Bot as API。
2025-03-25
可以同时接多个大模型api的聊天应用
以下是一些可以同时接多个大模型 API 的聊天应用： 1. 熊猫大侠：基于 COW 框架的 ChatBot 实现步骤 能实现打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）、常用开源插件的安装应用等功能。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等。 可选择多模型，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型，包括文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 有多种部署方法，如本地运行、服务器运行、Docker 的方式。 风险与注意事项：微信端因非常规使用有封号危险，不建议主力微信号接入；操作需依法合规，对大模型生成的内容注意甄别，禁止用于非法目的，处理敏感或个人隐私数据时注意脱敏。 相关教程：张梦飞同学写的更适合小白的使用教程 2. DIN：全程白嫖拥有一个 AI 大模型的微信助手 搭建步骤： 搭建，用于汇聚整合多种大模型接口，并可白嫖大模型接口。 搭建，这是个知识库问答系统，可将知识文件放入，并接入大模型作为分析知识库的大脑来回答问题。若不想接入微信，其自身有问答界面。 搭建接入微信，配置 FastGpt 将知识库问答系统接入微信，建议先用小号以防封禁风险。 拓展功能：搭建完后想拓展 Cow 的功能，可参考 Yaki.eth 同学的教程，里面的 cow 插件能进行文件总结、MJ 绘画。 3. LLM 开源中文大语言模型及数据集集合中的外部挂件应用 wenda： 地址： 简介：一个 LLM 调用平台。为小模型外挂知识库查找和设计自动执行动作，实现不亚于大模型的生成能力。 JittorLLMs： 地址： 简介：计图大模型推理库：笔记本没有显卡也能跑大模型，具有成本低，支持广，可移植，速度快等优势。 WebCPM 地址： 简介：一个支持可交互网页搜索的中文大模型。 GPT Academic： 地址： 简介：为 GPT/GLM 提供图形交互界面，特别优化论文阅读润色体验，支持并行问询多种 LLM 模型，兼容复旦 MOSS, llama, rwkv, 盘古等。 ChatALL： 地址： 简介：ChatALL（中文名：齐叨）可以把一条指令同时发给多个 AI，可以帮助用户发现最好的回答。
2025-03-17
api接口的claude怎么写提示词？
以下是关于 Claude API 接口写提示词的一些要点： 1. 采用“Human:”/“Assistant:”的标准格式。Claude 被训练为交替对话形式的机器人，对话形式固定为：“Human:”/“Assistant:”。如果提示词在 API 里出现，固定开头为“\n\nHuman:”，固定结尾是：“\n\nAssistant:”。例如：prompt=“\n\nHuman:Why are sunsets orange?\n\nAssistant:”。 2. 提示词要清晰明确，Claude 对清晰明确的提示词反馈最好。 3. 可以指定想要的精确输出格式，也可以为 Claude 写好回复的开头（在“Assistant:”之后）。 4. 如果 Claude 在执行任务前有时间一步一步地思考，它会表现得更好。 5. 对于输入内容，可进行无害性筛选。如果内容提到有害、色情或非法的活动，回复。 6. 若 Claude 不理解任务，可后退几步，再进行提示词迭代，并询问 Claude 是否理解。
2025-03-10
如何本地部署大模型，如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。
2025-04-13
我有秋叶整合包，然后需要怎么搭建本地部署？
以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式： 通过云服务器、dify、智能微秘书来免费搭建微信机器人： 1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。 4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人： 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。 6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。 7. 添加完后，用小号登录，大号可对小号发号施令。 部署和训练自己的 AI 开源模型： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10