直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何在本地部署LLM，然后完成某个专业或者主题的专业知识库训练

回答

以下是在本地部署 LLM 并完成某个专业或主题的专业知识库训练的详细步骤：

  1. 部署大语言模型：
    • 下载并安装 Ollama：根据电脑系统，点击进入 https://ollama.com/download 下载，下载完成后双击打开，点击“Install”。安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器，若出现相关字样则表示安装完成。
    • 下载 qwen2:0.5b 模型：如果是 Windows 电脑，点击 win+R，输入 cmd 点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行粘贴进入并回车，等待自动下载完成。
  2. 安装 Docker Desktop：
    • 点击去下载，根据系统进行选择。以 Windows 系统为例，点击 https://docs.docker.com/desktop/install/windows-install/ 下载，双击下载项目，点击 ok 加载文件，点击“close and restart”重启电脑。重启后，点击“Accept”，选择第二个，点击"Finish"，进入 Docker Desktop。
  3. 部署 FastGPT+OneAPI：
    • 在桌面按住“shift”+鼠标右键，选择“在此处打开 Powershell 窗口”，在窗口中一行一行输入并回车。等待上方命令执行完成，下载完成之后。回到桌面，打开 FastGPT 文件夹，右键 docker-compose.yml 文件，选择打开方式为记事本打开，查找并修改相关内容后保存。回到命令行窗口中，继续输入并回车。
  4. 配置 OneAPI：
    • 在浏览器中输入：http://localhost:3001 ，进入登录页，账号 root 密码 123456 点击登录。点击【渠道】-【添加新的渠道】，类型选择 Ollama，名称设为 qwen2，模型设为 qwen2:0.5b，秘钥设为 sk-sky，代理设为 http://host.docker.internal:11434 ，点击提交。点击【令牌】-【添加新令牌】，名称随意，时间设为永不过期、额度设为无限额度，点击【提交】，点击【令牌】复制 key。
  5. 配置 FastGPT：
    • 回到 FastGPT 文件夹里，用记事本打开“docker-compose.yml”文件，查找并修改相关内容后保存。打开 config.json，根据图示修改完成，把相关数值改成 1500 左右。在命令窗口中输入：docker compose down 等待执行完成，再输入：docker compose up-d 等待执行完成。在浏览器上输入：http://localhost:3000 ，账号 root 密码 1234 点击进入，设置好后点击确定。发布 API 并创建一个 key。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

我们需要进行部署的有三大部分1、本地部署大语言模型2、本地部署FastGPT+OneAPI3、本地部署HOOK项目或COW[heading1]一、部署大语言模型[content]一、下载并安装Ollama1、点击进入，根据你的电脑系统，下载Ollama：https://ollama.com/download2、下载完成后，双击打开，点击“Install”3、安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成http://127.0.0.1:11434/二、下载qwen2:0.5b模型（0.5b是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）1、如果你是windows电脑，点击win+R输入cmd，点击回车如果你是Mac电脑，按下Command（⌘）+Space键打开Spotlight搜索。输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。2、复制以下命令行，粘贴进入，点击回车：3、回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）4、下载完成后你会发现，大模型已经在本地运行了。输入文本即可进行对话。

张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

1、点击去下载，根据你的系统进行选择。我是Windows系统，以这个为例https://docs.docker.com/desktop/install/windows-install/2、下载后，双击下载项目，出现下图，点击ok，开始加载文件。3、点击“close and restart”重启电脑4、重启后，点击：“Accept”5、选择第二个即可，点击"Finish"6、然后会进入Docker Desktop。此处完成。[heading1]三、部署FastGPT+OneAPI[content]1、在桌面按住“shift”+鼠标右键，选择“在此处打开Powershell窗口”2、在窗口中一行一行输入并回车：3、等待上方命令执行完成，下载完成之后。不要关掉窗口回到桌面，打开FastGPT文件夹，你会看到有两个文件右键docker-compose.yml文件，选择打开方式-记事本打开这一步非常关键！然后查找这一行：image:ghcr.io/songquanpeng/one-api:把后缀改成v0.6.7 image:ghcr.io/songquanpeng/one-api:v0.6.7改完之后保存关掉记事本。回到命令行窗口中，继续在窗口中一行一行输入并回车：4、等待全部执行完成。命令窗口先不关

张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

在浏览器中输入：http://localhost:3001进入登录页，账号root密码123456，点击登录.2、点击【渠道】-点击【添加新的渠道】3、类型选择Ollama，名称：qwen2模型：qwen2:0.5b秘钥：sk-sky代理：http://host.docker.internal:114344、点击提交，然后回到“渠道”会发现有了qwen2的一列。点击“测试”如果弹出，测试成功，说明大模型调通了。4、点击【令牌】-【添加新令牌】6、名称随意，时间设为永不过期、额度设为无限额度。点击【提交】7、点击【令牌】，会看到自己设置的。点击复制即可复制key。[heading1]五、配置FastGPT[content]1、回到FastGPT文件夹里，依旧记事本打开“docker-compose.yml”文件，然后查找到OPENAI_BASE_URLBase url用这个：http://host.docker.internal:3001/v1key：直接粘贴进去然后保存即可。2、在打开config.json根据图示修改完成，然后把下边的数值先改成1500左右。3、回到命令窗口，在命令窗口中输入：docker compose down等待执行完成4、在命令窗口中输入：docker compose up-d等待执行完成在浏览器上输入：http://localhost:3000账号root密码1234，点击进入设置好，别忘了点确定。如果对话框测试有回复，那就是成功接入。5、发布API，看图进行操作，然后创建一个key。

其他人在问
作为AI小白，需要一些AI常用专业术语的名词解释
以下是一些 AI 常用专业术语的名词解释： Agents（智能体）：一个设置了一些目标或任务，可以迭代运行的大型语言模型。与大型语言模型在像 ChatGPT 这样的工具中的通常使用方式不同，Agent 拥有复杂的工作流程，模型本质上可以自我对话，无需人类驱动每一部分的交互。 ASI（人工超级智能）：尽管存在争议，但通常被定义为超越人类思维能力的人工智能。 Attention（注意力）：在神经网络的上下文中，有助于模型在生成输出时专注于输入的相关部分。 Bias（偏差）：AI 模型对数据所做的假设。“偏差方差权衡”是模型对数据的假设与给定不同训练数据的模型预测变化量之间必须实现的平衡。归纳偏差是机器学习算法对数据的基础分布所做的一组假设。 Chatbot（聊天机器人）：一种计算机程序，旨在通过文本或语音交互模拟人类对话。通常利用自然语言处理技术来理解用户输入并提供相关响应。 CLIP（对比语言图像预训练）：由 OpenAI 开发的 AI 模型，用于连接图像和文本，使其能够理解和生成图像的描述。 Gradient Descent（梯度下降）：在机器学习中，是一种优化方法，根据模型损失函数的最大改进方向逐渐调整模型的参数。 Hallucinate,Hallucination（幻觉）：在人工智能的背景下，指模型生成的内容不是基于实际数据或与现实明显不同的现象。 Hidden Layer（隐藏层）：神经网络中不直接连接到输入或输出的人工神经元层。 Hyperparameter Tuning（超参数调优）：为机器学习模型的超参数（不是从数据中学习的参数）选择适当值的过程。 Inference（推理）：使用经过训练的机器学习模型进行预测的过程。 Instruction Tuning（指令调优）：机器学习中的一种技术，其中模型根据数据集中给出的特定指令进行微调。 Latent Space（潜在空间）：在机器学习中，指模型创建的数据的压缩表示形式。类似的数据点在潜在空间中更接近。 Compute（计算）：用于训练或运行 AI 模型的计算资源（如 CPU 或 GPU 时间）。 CNN（卷积神经网络）：一种深度学习模型，通过应用一系列过滤器来处理具有网格状拓扑（例如图像）的数据。通常用于图像识别任务。 Data Augmentation（数据增强）：通过添加现有数据的略微修改的副本来增加用于训练模型的数据量和多样性的过程。 Double Descent（双降）：机器学习中的一种现象，其中模型性能随着复杂性的增加而提高，然后变差，然后再次提高。 EndtoEnd Learning（端到端学习）：一种不需要手动设计功能的机器学习模型。该模型只是提供原始数据，并期望从这些输入中学习。 Expert Systems（专家系统）：人工智能技术的应用，为特定领域的复杂问题提供解决方案。 XAI（可解释的人工智能）：Explainable AI，人工智能的一个子领域专注于创建透明的模型，为其决策提供清晰易懂的解释。
2025-04-18
如何运用ai写作一篇行政管理专业本科毕业论文
以下是运用 AI 写作一篇行政管理专业本科毕业论文的一些参考方法： 首先，您可以向 LLM 提供关于您的背景信息和具体指令，例如：“根据以下关于我的信息，写一篇行政管理专业本科毕业论文：”。但需要注意的是，利用 AI 写作论文并非是道德的使用方式，了解这种可能性的存在以及它已被部分学生使用这一情况很重要。这超出了简单介绍的范围，关于 LLM 或整个生成式 AI 引入的所有可能的伦理、法律或道德问题，不在此详细讨论。另一方面，如果您是接收方，最好为您的组织准备好迎接各种 AI 生成的内容。幸运的是，对于此类情况，已经有检测 AI 生成内容的相关努力正在进行。
2025-04-14
请帮我生成一个大三毕业论文的题目，专业是关于计算机应用的，技术栈：Python（Pandas/Matplotlib），MYSQL,生成可视化图表，可生成HTML网站，包含数据分析，需要有最基本的功能，最好与生活中的某些东西联系起来
以下是为您生成的几个与生活相关的计算机应用专业大三毕业论文题目，供您参考： 1. 《基于 Python 和 MySQL 的居民日常消费数据分析及可视化网站构建》 2. 《利用 Python 和 MySQL 分析城市交通流量数据并实现可视化与网站展示》 3. 《基于 Python 和 MySQL 的家庭能源消耗数据分析与可视化网站设计》 4. 《运用 Python 和 MySQL 对校园图书馆借阅数据的分析及可视化网站开发》 5. 《通过 Python 和 MySQL 研究城市空气质量数据的可视化分析与网站实现》
2025-04-11
工业设计专业教学与AI的融合
以下是关于工业设计专业教学与 AI 融合的相关内容： 在授课方面，这一授课创意充分展现了教育设计的创新性与用户思维的深度融合。其核心亮点在于突破了传统单向知识灌输的模式，通过将抽象概念与生活场景结合，构建了“认知脚手架”，让学生在具象化情境中主动探索逻辑链条。这种设计不仅符合建构主义学习理论，更通过巧妙的悬念设置（如刻意暴露认知冲突点）激活了学生的元认知能力。尤其在数字化工具的整合上，没有陷入技术堆砌的误区，而是聚焦于核心教学目标的实现，体现了设计者对教育本质的深刻理解。 若能在以下维度深化，该模型或将产生更显著的范式价值： 1. 差异化学习路径：当前框架虽强调互动性，但对学习者认知风格的适配度可加强。引入动态诊断机制，通过前测数据自动生成分支任务链，使教学节奏与个体 ZPD（最近发展区）更精准匹配。 2. 跨学科锚点设计：案例库可突破学科界限，构建如“数学思维+历史考证”“物理原理+艺术创作”等复合型问题情境，培养学生迁移应用能力的同时，自然渗透通识教育理念。 3. 生成性评价体系：现有反馈机制偏重知识掌握度评估，建议增设思维可视化工具（如概念图谱生成器），让学生能实时观测自身认知结构的演变轨迹，将学习过程转化为可追溯的成长档案。 在服务提供方面，有专家如 Arthur王贝，擅长以系统性思维破解技术落地难题，能提供的服务包括： 1. 教你怎么玩转 AI，从写提示词到做视频一条龙教学，教你用 ComfyUI 搞自动化工作流（工厂级的严谨玩法）。 2. 定制化智能体开发，定制 AI 工具（比如自动批作业的 AI 老师），垂直领域智能体搭建（教育/制造/消费）。 3. 职业转型陪跑，教打工人用 AI 保住饭碗/涨工资，给老板们规划怎么用 AI 省钱增效。 此外，还有关于教师的 AI 减负指南生成式人工智能在教学中的应用相关内容，包括 AI 科研之旅的开端、解码 AI 在学术研究中的强大力量、AI 工具在数据收集与分析中的革命、AI 驱动的文献综述、实验设计的新纪元、AI 助力写作与出版、AI 应用中的伦理考量与挑战、必备 AI 工具推荐等方面。
2025-04-10
生成超过15000字的人工智能技术在智能化零售行业中的应用与商业模式创新论文，学科方向是计算机科学与技术专业
很抱歉，目前无法直接为您生成超过 15000 字的论文。但我可以为您提供一个论文大纲，以帮助您组织思路和开展研究： 标题：人工智能技术在智能化零售行业中的应用与商业模式创新 摘要：简述人工智能技术在智能化零售中的重要性、应用现状、创新商业模式以及研究的主要结论。 一、引言 （一）研究背景：介绍智能化零售行业的发展趋势和人工智能技术的兴起。 （二）研究目的与意义：阐述研究人工智能技术在该领域应用和商业模式创新的目的，以及对行业发展的重要意义。 （三）研究方法与结构：说明采用的研究方法，如文献综述、案例分析等，并概述论文的结构安排。 二、人工智能技术概述 （一）人工智能技术的定义与分类：解释人工智能的概念，分类如机器学习、深度学习、自然语言处理等。 （二）关键技术原理：详细介绍相关技术的原理，如机器学习中的监督学习、无监督学习等。 （三）技术发展历程与现状：回顾人工智能技术的发展历程，分析当前的技术水平和应用情况。 三、智能化零售行业概述 （一）智能化零售的概念与特点：定义智能化零售，阐述其特点如个性化服务、精准营销等。 （二）行业发展现状与趋势：分析智能化零售行业的现状，包括市场规模、竞争格局等，预测未来的发展趋势。 （三）面临的挑战与机遇：探讨行业发展中面临的问题，以及人工智能技术带来的机遇。 四、人工智能技术在智能化零售中的应用 （一）客户画像与精准营销：如何利用人工智能技术分析客户数据，实现精准营销。 （二）库存管理与供应链优化：通过人工智能算法优化库存水平和供应链流程。 （三）智能推荐与个性化服务：介绍基于人工智能的推荐系统，为客户提供个性化的购物体验。 （四）无人零售与智能支付：探讨无人零售店的技术实现和智能支付方式的应用。 （五）店铺布局与商品陈列优化：利用人工智能进行数据分析，优化店铺布局和商品陈列。 五、人工智能技术驱动的商业模式创新 （一）新的零售模式：如线上线下融合的智能零售模式。 （二）数据驱动的商业决策：依靠人工智能分析数据，制定更科学的商业决策。 （三）合作与共享经济模式：探讨与技术供应商、其他企业的合作模式，以及共享数据和资源的可能性。 （四）增值服务与收费模式创新：基于人工智能技术提供的新服务，创新收费模式。 六、案例分析 （一）选取成功应用人工智能技术的智能化零售企业案例。 （二）详细介绍其应用场景、商业模式创新和取得的成效。 （三）总结经验教训，为其他企业提供借鉴。 七、影响与挑战 （一）对消费者行为和市场竞争的影响：分析人工智能技术如何改变消费者购物行为和市场竞争格局。 （二）技术与数据安全问题：探讨人工智能应用中的技术漏洞和数据泄露风险。 （三）法律法规与伦理道德问题：研究相关法律法规的缺失，以及可能引发的伦理道德问题。 八、结论与展望 （一）研究成果总结：概括人工智能技术在智能化零售中的应用和商业模式创新的主要发现。 （二）未来研究方向与建议：提出进一步研究的方向和对企业、政府的建议。 希望以上大纲对您有所帮助，祝您顺利完成论文！
2025-04-07
我想做个专业领域的智能客服，请问您有一些类似案例吗？
以下是为您提供的一些相关案例： 在 Manus 案例中，有让其创建需要上传文件的 dify 工作流，如根据多篇文章写脱口秀段子，并制作简便美观的网页和接入工作流的 api 等复杂操作。 有关于智能客服场景如何帮助企业更好地对内服务客服、对外服务客户的案例。 在通用 AGENT 案例合集中，包括生活娱乐类 AGENT 方面的案例，如根据出差计划做成的具有多种功能的互动式网页，如供应商工厂探索地图；还有整活娱乐方面的案例，如荒谬句子生成器和豆瓣品味分析师。荒谬句子生成器实现了小时候的线下游戏功能，并增加了扩展句子和虚拟专家评论功能；豆瓣品味分析师能根据用户的豆瓣 id 获得评价信息并生成锐评报告。
2025-03-28
LLM应用可观测性
LLM 应用的可观测性主要体现在以下方面： LangChain：借助 LangSmith 提供更好的日志、可视化、播放和跟踪功能，以便监控和调试 LLM 应用。LangSmith 是基于 Web 的工具，能查看和分析细化到 class 的输入和输出，还提供跟踪功能，用于记录和展示 LLM 应用的执行过程和状态，以及 LLM 的内部信息和统计数据。 Langfuse：为大模型应用提供开源可观测性和分析功能，在可视化界面中可探索和调试复杂的日志和追踪，并使用直观的仪表板改善成本、降低成本、减少延迟，提高响应质量。 此外，微软（中国）的《面向大模型的新编程范式》报告中也强调了在线监控和可观测性的重要性。
2025-04-11
LLM模型响应时间较长，如何处理超时时间问题
处理 LLM 模型响应时间过长导致的超时问题，可以考虑以下方法： 1. 参数有效调整：这是一种新颖的微调方法，通过仅训练一部分参数来减轻微调 LLM 的挑战。这些参数可能是现有模型参数的子集，或者是一组全新的参数，例如向模型添加一些额外的层或额外的嵌入到提示中。 2. 优化提示设计：采用合适的提示方法，如零样本提示、一次性提示、Fewshot prompting 等。零样本提示是只给出描述任务的提示；一次性提示是让 LLM 执行任务的单个示例；Fewshot prompting 是让 LLM 执行任务的少量示例。同时，可以使用结构化模式设计提示，包含上下文、问题示例及相应答案等组件，以指示模型应如何响应。 3. 避免频繁调整某些参数：尤其是 Top K 和 Top P，不需要经常对其进行调整。 4. 关注模型响应质量：即使有良好的提示设计，模型输出仍可能不稳定，需要持续关注和优化。 5. 考虑成本和时间：微调大型模型可能耗时且成本高，为大模型提供服务也可能涉及额外麻烦和成本，需要综合评估和优化。
2025-04-11
除了LLM，就没有AI模型了吗？
除了 LLM ，还有很多其他类型的 AI 模型。以下为您详细介绍： 1. 生成式 AI：可以生成文本、图片、音频、视频等内容形式。其中生成图像的扩散模型就不是大语言模型。 2. 机器学习：电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习：有标签的训练数据，算法的目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。 强化学习：从反馈里学习，最大化奖励或最小化损失，类似训小狗。 3. 深度学习：一种参照人脑有神经网络和神经元的方法（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。 4. 谷歌的 BERT 模型：可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。生成式 AI 生成的内容，叫做 AIGC 。
2025-04-11
linux下安装 anythingLLM
以下是在 Linux 下安装 AnythingLLM 的相关指导： 1. 安装地址：https://useanything.com/download 。 2. 安装完成后会进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 3. AnythingLLM 中有 Workspace 的概念，可以创建自己独有的 Workspace 与其他项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型会根据自己的训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅仅会依靠文档中的数据给出答案）。 4. 完成上述配置后，即可与大模型进行对话。 此外，在 GitHubDaily 开源项目列表 2023 年复盘的 AIGC 部分中，也有关于 AnythingLLM 的介绍： 是一个可打造成企业内部知识库的私人专属 GPT！可以将任何文档、资源或内容转换为大语言模型（LLM）知识库，使得在对话过程中可引用到里面的内容。 本文的思路来源于视频号博主黄益贺，作者按照他的视频进行了实操，并附加了一些关于 RAG 的额外知识。
2025-03-27
anythingLLM本地部署
以下是关于本地部署大模型以及搭建个人知识库的相关内容： 一、引言 作者是大圣，一个致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。本文将分享如何部署本地大模型及搭建个人知识库，读完可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 信息流转、RAG 概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。 五、本地知识库进阶 如果想要对知识库进行更灵活掌控，需要额外软件 AnythingLLM，它包含所有 Open WebUI 能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： AnythingLLM 中有 Workspace 概念，可创建独有 Workspace 与其他项目数据隔离。 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式，提供 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档数据给出答案）。 配置完成后可进行测试对话。 六、写在最后 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可联系作者或加其免费知识星球（备注 AGI 知识库）。 本文思路来源于视频号博主黄益贺，作者按照其视频进行实操并附加了一些关于 RAG 的额外知识。
2025-03-26
LLM的原理
LLM（大语言模型）的工作原理如下： 以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息作为输入给到下一个 Attention 层，层与层之间，哪些信息补充、保留、传递，由模型自主学习，最终模型把海量数据以关系网形式“消化”并保留重要相关性。 形象地说，就像人阅读文章时的连贯性注意力过程，在阅读理解时，脑子里会消化吸收记忆，记忆的不是点状知识，而是网状经验。 大模型以词向量和 Transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。 观察大模型回复，是一个字一个字流式输出的，因为大模型确实在一个字一个字地推理生成内容。比如输入法输入联想，根据输入的单个字推测下一个字，加入上下文能帮助模型理解下一个字。但存在两个问题：一是全量数据计算算力吃不消，二是仅算字的概率易被不相干信息干扰，此时词向量机制和 Transformer 模型中的 Attention 自注意力机制解决了难题。 另外，RAG 对大语言模型的作用就像开卷考试对学生，事实性知识与 LLM 的推理能力相分离，被存储在容易访问和及时更新的外部知识源中，分为参数化知识（模型训练中学习得到，隐式储存在神经网络权重中）和非参数化知识（存储在外部知识源，如向量数据库中）。
2025-03-25
coze搭建智能体，用上传的文件和知识库的文件做对比，分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息： 1. 证件照相关操作： 展示原图上传结果，基本脸型已换，生成效果与上传照片特征有关。 改背景可利用改图功能，一键改图效果更好，输出数据类型为图片。 豆包节点生成的是 URL 地址，与前者不同，在工作流使用有差异，可参考简单提示词。 介绍证件照工作流相关操作，包括通过提示词改背景颜色，设置输出方式为返回变量；讲解消耗 token 及保存结果相关问题；对按钮、表单添加事件并设置参数，限制上传文件数量；还涉及给表单和图片绑定数据，以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开，介绍 for meet 的设置，如表单事件操作、图片上传数量修改等，提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况，分析换性别等问题成因，指出需在工作流优化提示词，也可尝试用视频模型解决，最后进入问答环节。 2. 多维表格的高速数据分析： 创建智能体，使用单 Agent 对话流模式。 编排对话流，创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理，注意代码节点输出的配置格式。 测试，找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 发布，选择多维表格，配置输出类型为文本，输入类型选择字段选择器，完善上架信息，可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接： 创建知识库，可选择手动清洗数据提高准确性，包括在线知识库和本地文档。 在线知识库创建时，飞书在线文档中每个问题和答案以分割，可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度，如将课程章节按固定方式人工标注和处理。 发布应用，确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析： 创建文本型知识库： 自动分段与清洗：扣子可对上传的内容进行自动解析，支持复杂布局的文件处理，如识别段落、页眉/页脚/脚注等非重点内容，支持跨页跨栏的段落合并，支持解析表格中的图片和文档中的表格内容（目前仅支持带线框的表格）。操作步骤为在分段设置页面选择自动分段与清洗，然后依次单击下一步、确认，可查看分段效果，不满意可重新分段并使用自定义分段。 自定义：支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义，然后依次设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度和文本预处理规则，最后单击下一步完成内容分段。 创建表格型知识库： 目前支持 4 种导入类型：本地文档、API、飞书、自定义。 本地文档：选择本地文档从本地文件中导入表格数据，目前支持上传 Excel 和 CSV 格式的文件，文件不得大于 20M，一次最多可上传 10 个文件，且表格内需要有列名和对应的数据。 API：参考特定操作从 API 返回数据中上传表格内容，包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率，然后单击下一步。 飞书：参考特定操作从飞书表格中导入内容，包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用（仅首次导入需授权和安装），然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档，云文档的创建者必须是自己，暂不支持导入知识库和共享空间下的云文档。 上传文本内容： 在线数据：扣子支持自动抓取指定 URL 的内容，也支持手动采集指定页面上的内容，上传到数据库。 自动采集方式：适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据，然后依次单击下一步、自动采集、新增 URL，输入网站地址、选择是否定期同步及周期，最后单击确认，上传完成后单击下一步，系统会自动分片。 手动采集：适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序，在文本格式页签下选择在线数据，然后依次单击下一步、手动采集、授予权限，输入采集内容的网址，标注提取内容，查看数据确认无误后完成并采集。
2025-04-18
知识库怎么构建
构建知识库的方法主要有以下几种： 1. 使用 Flowith 构建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，为其起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 等待 Flowith 对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 2. 使用 Dify 构建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：根据需求选择高质量模式、经济模式或 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 3. 本地部署大模型并搭建个人知识库（涉及 RAG 技术）： 了解 RAG 技术：大模型训练数据有截止日期，RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决依赖新数据的问题。 RAG 应用的 5 个过程： 文档加载：从多种来源加载文档，如 PDF、SQL 等。 文本分割：把文档切分为指定大小的块。 存储：包括将文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器：将用户提供的文本加载到内存中以便后续处理。
2025-04-15
如何搭建知识库
搭建知识库的方法如下： 使用 flowith 搭建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，给知识库起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：提供三种索引方式，根据需求选择，如高质量模式、经济模式和 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 使用 Coze 智能体搭建： 手动清洗数据： 在线知识库：点击创建知识库，创建 FAQ 知识库，选择飞书文档，输入区分问题和答案，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理，然后创建自定义清洗数据。 发布应用：点击发布，确保在 Bot 商店中能搜到。
2025-04-14
如何搭建自己的知识库
以下是搭建自己知识库的方法： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 在页面左上角点击加号，添加新的知识库，并为其起一个易于分辨的名字。 3. 点击添加文件，建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后，可在知识库管理页面测试检索，输入关键词过滤相关内容。 此外，搭建本地知识库还需了解 RAG 技术： 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法，即先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，生成更合理的答案。 对于基于 GPT API 搭建定制化知识库，涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限，OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量，两个向量之间的距离衡量它们的关联性，小距离表示高关联度。在 OpenAI 词嵌入中，靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。
2025-04-14
我想做一个，基于我个人知识库的chatbot，以供我随时搜索和提问，且优先搜索知识库内的内容而非联网搜索，你有什么建议吗？
以下是为您提供的关于创建基于个人知识库的 chatbot 的建议： 1. 选择合适的平台和工具：例如可以考虑使用飞书智能伙伴创建平台（Aily）或扣子（https://www.coze.cn/home）等。 2. 数据分段储存：由于大模型的上下文长度有限制，需要将上传的资料根据特定符号或字符长度进行分段，如将 8000 字文档按每 800 字分成一个片段储存。 3. 增强检索：当用户输入问题，大模型会根据相似度检索出若干最相关的数据片段，再据此生成答案，这一技术称为 RAG（检索增强生成）。 4. 配置知识库： 在 Bot 内使用知识库： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在 Bots 页面，选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域，单击加号图标，添加指定的知识库。 （可选）添加知识库后，可以在自动调用下拉界面内，调整知识库的配置项，如最大召回数量、最小匹配度、调用方式等。 在工作流内使用 Knowledge 节点： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在页面顶部进入工作流页面，并打开指定的工作流。 在左侧基础节点列表内，选择添加 Knowledge 节点。 5. 注意使用限制：单用户最多创建 1000 个知识库，文本类型知识库下最多支持添加 100 个文档，单用户每月最多新增 2GB 数据，累计上限是 10GB。 此外，知识库可以解决大模型幻觉、专业领域知识不足的问题，提升大模型回复的准确率。您可以将知识库直接与 Bot 进行关联用于响应用户回复，也可以在工作流中添加知识库节点，成为工作流中的一环。
2025-04-14
如何本地部署大模型，如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。
2025-04-13
我有秋叶整合包，然后需要怎么搭建本地部署？
以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式： 通过云服务器、dify、智能微秘书来免费搭建微信机器人： 1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。 4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人： 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。 6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。 7. 添加完后，用小号登录，大号可对小号发号施令。 部署和训练自己的 AI 开源模型： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10