Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何部署本地的智能数据库

Answer

以下是关于如何部署本地智能数据库的详细步骤：

  1. 引言：
    • 作者是致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。
    • 本文将分享如何部署本地大模型以及搭建个人知识库，让您了解相关流程和技术。
  2. 本地知识库进阶：
    • 若要更灵活掌控知识库，可使用额外软件 AnythingLLM，它包含所有 Open WebUI 的能力，并额外支持选择文本嵌入模型和向量数据库。
    • 安装地址：https://useanything.com/download 。
    • 安装完成后进入配置页面，主要分为三步：
      • 第一步：选择大模型。
      • 第二步：选择文本嵌入模型。
      • 第三步：选择向量数据库。
    • AnythingLLM 中有 Workspace 的概念，可创建独有 Workspace 与其他项目数据隔离。
    • 构建本地知识库的步骤：
      • 首先创建一个工作空间。
      • 上传文档并在工作空间中进行文本嵌入。
      • 选择对话模式，包括 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。
      • 完成配置后即可进行测试对话。
  3. 写在最后：
    • 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。
    • 若对 AI Agent 技术感兴趣，可联系作者或加入其免费知识星球（备注 AGI 知识库）。
Content generated by AI large model, please carefully verify (powered by aily)

References

手把手教你本地部署大模型以及搭建个人知识库

本文的思路来源于视频号博主：黄益贺我按照他的视频进行了实操，并且附加了一些关于RAG的额外知识[heading1]一、引言[content]大家好，我是大圣，一个致力使用AI工具将自己打造为超级个体的程序员。目前沉浸于AI Agent研究中无法自拔今天给大家分享的是手把手教你如何部署本地大模型以及搭建个人知识库读完本文，你会学习到如何使用Ollama一键部署本地大模型通过搭建本地的聊天工具，了解ChatGPT的信息是如何流转的RAG的概念以及所用到的一些核心技术如何通过AnythingLLM这款软件搭建完全本地化的数据库虽然我们大多数人不需要在自己部署大模型，但是我期望在本文的帮助下，能够带你手把手折腾一遍。这样在使用任何软件的时候，可以做到知其然，知其所以然。

手把手教你本地部署大模型以及搭建个人知识库

如果想要对知识库进行更加灵活的掌控，我们需要一个额外的软件：AnythingLLM。这个软件包含了所有Open WebUI的能力，并且额外支持了以下能力选择文本嵌入模型选择向量数据库[heading2]AnythingLLM安装和配置[content]安装地址：https://useanything.com/download当我们安装完成之后，会进入到其配置页面，这里面主要分为三步1.第一步：选择大模型1.第二步：选择文本嵌入模型1.第三步：选择向量数据库[heading2]构建本地知识库[content]AnythingLLM中有一个Workspace的概念，我们可以创建自己独有的Workspace跟其他的项目数据进行隔离。1.首先创建一个工作空间1.上传文档并且在工作空间中进行文本嵌入1.选择对话模式AnythingLLM提供了两种对话模式：Chat模式：大模型会根据自己的训练数据和我们上传的文档数据综合给出答案Query模式：大模型仅仅会依靠文档中的数据给出答案1.测试对话当上述配置完成之后，我们就可以跟大模型进行对话了[heading1]六、写在最后[content]我非常推崇的一句话送给大家：看十遍不如实操一遍，实操十遍不如分享一遍如果你也对AI Agent技术感兴趣，可以联系我或者加我的免费知识星球（备注AGI知识库）

4.4 历史更新

《[手把手教你本地部署大模型以及搭建个人知识库](https://waytoagi.feishu.cn/wiki/ZKGmwsQhTihYZ8kdu7uccF1lnQc)》作者大圣，本文介绍了：如何使用Ollama一键部署本地大模型；通过搭建本地的聊天工具，了解ChatGPT的信息是如何流转的；RAG的概念以及所用到的一些核心技术；如何通过AnythingLLM这款软件搭建完全本地化的数据库。正如作者所说，并不一定需要具备太多编程知识，而是一颗热爱折腾的心。《[邬嘉文：GPT具身对话机器人](https://waytoagi.feishu.cn/wiki/SWJxwBMlUio2WGkwf2wcfJyKnhh)》作者尝试用一个ChatGPT驱动具身机器人的语音、表情以及头部动作，全面展示GPT的表现力，他将整个过程记录下来，希望对想研究具身智能的同学有启发。快讯：OpenAI：GPT-4turbo，重新夺回最强大模型Google：最新压缩记忆技术，可以1B模型上下文长度提高到100万Meta：准备发布Llama3

Others are asking
画数据库关系图，用什么al软件好
以下是一些可以用于画数据库关系图的 AI 软件和传统工具： 1. Lucidchart：流行的在线绘图工具，支持多种图表创建，包括数据库关系图，用户可通过拖放界面轻松操作。 2. Visual Paradigm：全面的 UML 工具，提供创建各种架构视图的功能，如数据库的逻辑视图（类图、组件图）、功能视图（用例图）和部署视图（部署图）。 3. ArchiMate：开源的建模语言，专门用于企业架构，支持逻辑视图创建，可与 Archi 工具配合使用，该工具提供图形化界面创建模型。 4. Enterprise Architect：强大的建模、设计和生成代码的工具，支持创建包括数据库逻辑、功能和部署等多种视图。 5. Microsoft Visio：广泛使用的图表和矢量图形应用程序，提供丰富模板用于创建数据库逻辑视图、功能视图和部署视图等。 6. draw.io（现称为 diagrams.net）：免费的在线图表软件，允许创建各种类型图表，包括数据库逻辑视图和部署视图。 7. PlantUML：文本到 UML 的转换工具，通过编写描述性文本自动生成序列图、用例图、类图等，有助于创建数据库逻辑视图。 8. Gliffy：基于云的绘图工具，提供创建包括数据库逻辑视图和部署视图等各种架构图的功能。 9. Archi：免费开源工具，用于创建 ArchiMate 和 TOGAF 模型，支持逻辑视图创建。 10. Rational Rose：IBM 的 UML 工具，支持创建包括数据库逻辑视图和部署视图等多种视图。
2025-03-22
AI可以做数据库的数据分析
AI 可以用于数据库的数据分析，以下是相关内容： ChatGPT 助力数据分析的流程： 逻辑流程图如下： 1. SQL 分析：用户描述想分析的内容，后台连接 DB，附带表结构信息让 AI 输出 SQL 语句，校验是 SELECT 类型的 SQL，其他操作如 UPDATE/DELETE 绝不能通过！校验通过后执行 SQL 返回结果数据。再将数据传给 GPT（附带上下文），让 AI 学习并分析数据，最后输出分析结论和建议，和结果数据一起返回给前端页面渲染图表、展示分析结论。目前已实现两张表关联查询。 2. 个性化分析：用户上传文件，如有需要可以简单描述这是什么数据、字段意义或作用辅助分析。前端解析用户上传的文件，再传给 GPT 分析数据，后续步骤与上面一致。 相关问题与技巧： 1. SQL 分析： 反复校验是否为 SELECT SQL 语句，不仅因为 AI 不完全可控，还因为不能相信用户输入，防止恶意操作。非查询类 SQL 坚决不通过，提示不支持此类请求。 到 AI 分析步骤拼接上下文，是为了让 GPT 更好理解数据和字段的意义，使分析更准确。 针对表结构长类型字段，不允许直接查询，防止 token 消耗过多。最好告诉 GPT 只允许查询哪几个字段，或者用哪几个 SQL 函数，尽量让 GPT 生成可控。 2. 个性化分析： 用户上传的数据解析后需判断数据格式是否符合要求，超长可限制截取前面若干项，防止 token 消耗过多。 在前端解析用户上传的数据，分析完可直接用于渲染数据图表，无需后端再返回。 支持用户补充输入，可简单描述数据、字段意义或作用，用于辅助 AI 分析。对于易理解语义化的字段名，可不描述，GPT 也能识别。遇到多维度数据，为保证准确性，可输入“以 xxx为维度分析”或“这是 xxx 数据”。 AI 术语库中的相关术语： |术语 ID|原文|译文|领域|易混淆|缩写|不需要提醒| |||||||| |ROW1|DataDriven Spectral Analysis|数据驱动的光谱分析|AI||| |ROW1|DataMining|数据挖掘|AI|1|| |ROW1|Database|数据库|AI||| |ROW1|DE Algorithm|差分进化算法|AI|1|| |ROW1|Deeplift|DeepLift 模型|AI||| |ROW1|Dendrogram|树状图|AI||| |ROW1|Density Functional Theory|密度泛函理论|AI||| |ROW1|DensityBased Spatial Clustering Of Applications With Noise|DBSCAN 密度聚类|AI||| |ROW1|Descriptor|描述符|AI||| |ROW1|DFT Calculations|DFT 计算|AI||| |ROW1|Dice Similarity|戴斯相似度|AI||| |ROW1|Differential Evolution|差分进化|AI|||
2025-03-14
有没有什么工具，能根据需求进行数据库设计文档生成的
以下是为您提供的相关信息： COZE 工作流中关于数据库节点的教程： 1. 在 SQL 输入中添加 SQL 代码，如果不会写 SQL 语言或不懂代码，可以借助 AI 帮助。例如将相关需求发送给豆包，如学习特定文档并根据具体需求撰写用于工作流的 SQL 语句。 2. 向豆包提出具体要求，如指定数据库表名称（如“user_question_answer”）和存储字段名称（“create_time”“answer”“question”），并说明数据写入的需求。 3. 豆包会回复生成的 SQL 语句（如“INSERT INTO user_question_answer”），将其复制到数据库节点里 SQL 的位置。 4. 试运行时提供输入内容并选择第一步使用的 bot，成功后发布工作流即可记录对应数据到数据库。 另外，欧盟数据法案英文版.pdf 中提到：成员国主管当局应确保对违反本法规规定义务的行为处以处罚。在这样做时，应考虑到所涉公共利益、违规行为的性质、严重程度、复发和持续时间、所开展活动的范围和种类以及违规者的经济能力。委员会应在必要时考虑特定部门的条件和自愿数据共享机制的现有做法，为企业间数据共享合同制定和推荐非强制性示范合同条款。这些示范合同条款应主要是帮助特别是小企业签订合同的实用工具。当广泛和完整地使用时，这些示范合同条款也应具有有益的效果，影响关于访问和使用数据的合同设计，从而在访问和共享数据时更广泛地导致更公平的合同关系。为消除通过联网产品和相关服务的物理组件（如传感器）获得或生成的数据库中的数据持有者声称根据第 96/9/EC 号指令第 7 条享有的特殊权利（如果此类数据库不符合特殊权利的条件）从而阻碍用户根据本法规有效行使访问和使用数据以及与第三方共享数据的权利的风险，本法规应明确该特殊权利不适用于此类数据库，因为保护要求未得到满足。
2025-03-06
coze平台中的数据库应用，怎么判断数据是那个用户的，插入数据库节点时，需要明确用户uuid吗
在 Coze 平台中判断数据属于哪个用户，插入数据库节点时通常需要明确用户的唯一标识，如用户 UUID 或类似的唯一标识。 例如，在自动总结公众号内容并定时推送到微信的工作流中，考虑到可能有多个用户同时使用，使用了 server 酱的 sendkey 作为用户的唯一标识（重命名为 suid）。在数据库节点中查询是否已经推送过文章时，需要文章的 url 和用户的 suid 这两个值来判断。 在增加记账记录的工作流中，通过大语言模型将用户输入的非结构化数据转变为结构化数据存入数据库时，也需要明确相关的用户标识。 在 COZE 工作流中，数据库节点的设置包括输入参数的设置（如参数名、参数值、引用来源）以及在 SQL 输入中添加相应的代码。 总之，明确用户标识对于准确判断数据归属和进行数据库操作是很重要的。
2025-02-25
目前我有个数据源头，可能是excle或mysql数据库。他们都含义以下字段： 发货日期 物料编号 物料描述 板块 实际已交货量 销售单位 金额(RMB) 金额(不含税RMB) 国家 品牌； 我需要创建一个智能体助手，用于分析这些数据，这个智能通助手需要能按用户需要，分析各个维度的数据，并按板块等维度汇总，并转为柱状图图表表现出现，并表现用户所有日期的近一周的变化，并阐明变化或波动是由哪些数据导致的？ 结合以上需求，我需要在飞书上构建一个企业每日利润表分析与汇报助手，该选定哪种prompt框架
很抱歉，目前飞书知识库中没有关于您所描述的这种特定需求下应选定哪种 prompt 框架的相关内容。但一般来说，构建这样的企业每日利润表分析与汇报助手的 prompt 框架可以考虑以下几个方面： 1. 明确数据来源和格式：清晰描述数据来自 Excel 或 MySQL 数据库，以及包含的具体字段。 2. 定义分析维度和指标：如按板块、国家等维度汇总数据，关注利润相关的指标。 3. 设定时间范围：明确分析近一周的数据变化。 4. 描述图表要求：指定以柱状图展示数据。 5. 解释变化原因：阐明导致数据变化或波动的关键因素。 您可以根据实际情况进一步细化和完善这个框架。
2025-02-15
目前我有个数据源头，可能是excle或mysql数据库。他们都含义以下字段： 发货日期 物料编号 物料描述 板块 实际已交货量 销售单位 金额(RMB) 金额(不含税RMB) 国家 品牌； 我需要创建一个智能体助手，用于分析这些数据，这个智能通助手需要能按用户需要，分析各个维度的数据，并按板块等维度汇总，并转为柱状图图表表现出现，并表现用户所有日期的近一周的变化，并阐明变化或波动是由哪些数据导致的？
要创建这样一个智能体助手来分析您提供的数据，以下是一些建议的步骤： 1. 数据获取与预处理： 从 Excel 或 MySQL 数据库中读取数据。 对数据进行清洗和预处理，例如处理缺失值、异常值等。 2. 数据分析与计算： 按照用户需求的维度（如板块、国家、品牌等）对数据进行分组和汇总计算。 计算近一周的数据变化情况。 3. 图表生成： 使用合适的图表库（如 matplotlib、Seaborn 等）将汇总后的数据以柱状图的形式展示。 4. 变化原因分析： 通过比较不同维度的数据，找出导致变化或波动的关键因素。 在技术实现方面，您可以使用 Python 编程语言来完成上述任务。例如，使用 Pandas 库进行数据处理和分析，使用 Matplotlib 库生成图表。希望这些建议对您有所帮助，如果您在实现过程中遇到具体的技术问题，欢迎随时向我咨询。
2025-02-15
coze搭建智能体，用上传的文件和知识库的文件做对比，分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息： 1. 证件照相关操作： 展示原图上传结果，基本脸型已换，生成效果与上传照片特征有关。 改背景可利用改图功能，一键改图效果更好，输出数据类型为图片。 豆包节点生成的是 URL 地址，与前者不同，在工作流使用有差异，可参考简单提示词。 介绍证件照工作流相关操作，包括通过提示词改背景颜色，设置输出方式为返回变量；讲解消耗 token 及保存结果相关问题；对按钮、表单添加事件并设置参数，限制上传文件数量；还涉及给表单和图片绑定数据，以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开，介绍 for meet 的设置，如表单事件操作、图片上传数量修改等，提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况，分析换性别等问题成因，指出需在工作流优化提示词，也可尝试用视频模型解决，最后进入问答环节。 2. 多维表格的高速数据分析： 创建智能体，使用单 Agent 对话流模式。 编排对话流，创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理，注意代码节点输出的配置格式。 测试，找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 发布，选择多维表格，配置输出类型为文本，输入类型选择字段选择器，完善上架信息，可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接： 创建知识库，可选择手动清洗数据提高准确性，包括在线知识库和本地文档。 在线知识库创建时，飞书在线文档中每个问题和答案以分割，可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度，如将课程章节按固定方式人工标注和处理。 发布应用，确保在 Bot 商店中能够搜到。
2025-04-18
想要做一节讲如何用智能体做企业数字化转型的课程，如何设计
以下是关于如何设计用智能体做企业数字化转型课程的建议： 一、参考案例 1. 李国宝的相关经验 具有丰富的从业经验，包括通信工程、数据通信网络培训、创业、网络安全解决方案及培训、AI 课程开发与培训等。 开发过面向不同群体的 AI 课程，如《数字化转型实践》面向传统企业数字化、AI 赋能转型。 2. 90 分钟从 0 开始打造你的第一个 Coze 应用课程 从零开始教学做应用界面，先基础教学，再涉及特定应用。 介绍当前承接业务，包括辅导、培训、定制及企业 AI 落地等。 挖掘用户对 AI 应用的功能需求，如对交互界面的需求。 二、课程设计要点 1. 对于企业管理者 AI 辅助决策：在小规模决策中使用 AI 分析工具，以其分析结果作为决策参考。 员工培训计划：制定 AI 工具使用的培训计划，帮助团队成员了解日常工作中如何有效利用 AI。 流程优化：识别公司中可能受益于 AI 自动化的重复性任务，从小流程开始测试 AI 解决方案的效果。 AI 伦理和政策：制定公司的 AI 使用政策，确保 AI 应用符合伦理标准和法律要求。 2. 对于教育工作者 AI 辅助教案设计：尝试使用 AI 帮助设计课程大纲或生成教学材料 ideas，为课程带来新视角。 个性化学习路径：探索使用 AI 分析学生学习数据，为不同学生制定个性化学习计划。 创新教学方法：考虑将 AI 工具整合到课堂活动中，如使用 AI 生成的案例研究或模拟场景。 AI 素养教育：开发简单的课程模块，教导学生了解 AI 基础知识、应用领域及其对社会的影响。 三、注意事项 无论面向哪个群体，都应记住：与 AI 协作是一个学习过程。从小处着手，保持好奇心和开放态度，会发现 AI 不仅能提高工作效率，还能激发创造力，开拓新的可能性。最重要的是，始终保持批判性思维，将 AI 视为强大的工具，而不是完全依赖的解决方案。
2025-04-18
你是福州市政府工作人员，中国移动拟邀请福州市委书记参加中国移动人工智能生态大会并致辞，该大会是第八届数字峰会的组成部分，需要撰写市委书记的致辞稿，需要中国移动准备哪些素材，请告诉我提示词
以下是为您整理的相关内容： 《促进创新的人工智能监管方法》：包含了关于通用人工智能价值链、相关案例研究以及对人工智能监管框架的探讨等内容。 陶力文律师关于律师写好提示词用好 AI 的方法：包括初始化的欢迎语、遵循的规则、获取案例洞察报告和目标群体、输出纲要和写作方案、根据用户反馈调整等流程。 开幕式主持稿：涉及基地代表发言的时间、主题、物料配合和人员配合等信息。 但这些素材似乎与为中国移动准备市委书记致辞稿所需的素材关联不大。一般来说，为撰写市委书记在中国移动人工智能生态大会上的致辞稿，中国移动可能需要准备以下素材： 1. 本次大会的详细介绍，包括主题、目标、议程安排等。 2. 中国移动在人工智能领域的发展成果、战略规划和未来愿景。 3. 中国移动人工智能生态的构建情况，如合作伙伴、合作项目等。 4. 本次大会在第八届数字峰会中的地位和作用。 5. 相关行业的人工智能发展现状和趋势。 6. 福州市在人工智能领域的发展情况和与中国移动合作的展望。
2025-04-18
AI Agents（智能体）
AI 智能体（Agents）是人工智能领域中一个重要的概念： 1. 从 AGI 的发展等级来看，智能体不仅具备推理能力，还能执行全自动化业务，但目前许多 AI Agent 产品在执行任务后仍需人类参与，尚未达到完全智能体的水平。 2. 作为大模型的主要发展方向之一，智能体中间的“智能体”其实就是大模型（LLM）。通过为 LLM 增加工具、记忆、行动、规划这四个能力来实现。目前行业里主要用到的是 langchain 框架，它把 LLM 与 LLM 之间以及 LLM 与工具之间通过代码或 prompt 的形式进行串接。 3. 从智能体的起源探究来看，心灵社会理论认为智能是由许多简单的 Agent（分等级、分功能的计算单元）共同工作和相互作用的结果。这些 Agent 在不同层次上执行不同的功能，通过协作实现复杂的智能行为。心灵社会将智能划分为多个层次，每个层次由多个 Agent 负责，每个 Agent 类似于功能模块，专门处理特定类型的信息或执行特定任务。同时存在专家 Agent、管理 Agent、学习 Agent 等不同类型的 Agent 及其相应功能。从达特茅斯会议开始讨论人工智能，到马文·明斯基引入“Agent”概念，“AI”和“Agent”就彻底聚齐，往后被称之为 AI Agent。
2025-04-15
人工智能软件现在有哪些
以下是一些常见的人工智能软件： 1. 在自然语言处理和神经科学应用方面，大型语言模型取得了进展，拥有更先进的工具用于解码大脑状态和分析复杂脑部活动。 2. 在艺术创作领域，有涉及知识产权保护的相关软件，如软件工程师在设计时应确保生成内容合法合规、注重用户知识产权保护等。创作者使用此类软件时，应了解自身权利并做好保护。 3. 在线 TTS 工具方面，如 Eleven Labs（https://elevenlabs.io/）、Speechify（https://speechify.com/）、Azure AI Speech Studio（https://speech.microsoft.com/portal）、Voicemaker（https://voicemaker.in/）等。这些工具可将文本转换为语音，具有不同的特点和适用场景。但请注意，相关内容由 AI 大模型生成，请仔细甄别。
2025-04-15
什么是通用人工智能
通用人工智能（AGI）是指具有人类水平的智能和理解能力的 AI 系统。它有能力完成任何人类可以完成的智力任务，适用于不同的领域，同时拥有某种形式的意识或自我意识。 目前 AGI 还只是一个理论概念，没有任何 AI 系统能达到这种通用智能水平。 OpenAI 在其内部会议上分享了 AGI 的五个发展等级： 1. 聊天机器人（Chatbots）：具备基本对话能力的 AI，主要依赖预设脚本和关键词匹配，用于客户服务和简单查询响应。 2. 推理者（Reasoners）：具备人类推理水平的 AI，能够解决复杂问题，如 ChatGPT，能够根据上下文和文件提供详细分析和意见。 3. 智能体（Agents）：不仅具备推理能力，还能执行全自动化业务的 AI。目前许多 AI Agent 产品在执行任务后仍需人类参与，尚未达到完全智能体的水平。 4. 创新者（Innovators）：能够协助人类完成新发明的 AI，如谷歌 DeepMind 的 AlphaFold 模型，可以预测蛋白质结构，加速科学研究和新药发现。 5. 组织（Organizations）：最高级别的 AI，能够自动执行组织的全部业务流程，如规划、执行、反馈、迭代、资源分配和管理等。 常见名词解释： AGI：通用人工智能（Artificial General Intelligence）能够像人类一样思考、学习和执行多种任务的人工智能系统。 NLP：自然语言处理（Natural Language Processing），就是说人话。 LLM：大型语言模型（Large Language Model），数据规模很大，没钱搞不出来，大烧钱模型。
2025-04-15
如何本地部署大模型，如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。
2025-04-13
我有秋叶整合包，然后需要怎么搭建本地部署？
以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式： 通过云服务器、dify、智能微秘书来免费搭建微信机器人： 1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。 4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人： 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。 6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。 7. 添加完后，用小号登录，大号可对小号发号施令。 部署和训练自己的 AI 开源模型： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10