Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何在本地部署AI呢

Answer

以下是在本地部署 AI 的详细步骤:

一、本地 Hook 或 COW 机器人

  1. 以 Windows 10 系统为例(Mac 系统步骤类似,只是打开命令符的命令不同,遇到问题可问大模型)
    • 点击电脑“系统”,直接输入“cmd”,点击回车,打开命令窗口。
    • 在命令窗口中,粘贴以下代码,确认是否有 Python:[具体代码]
    • 粘贴以下代码,确认是否有 pip:[具体代码]
    • 核对以上两步命令的结果,如果有 Python 和 pip 并分别显示出版本号,则可跳过“安装环境”这一步,直接到“部署项目”;如果没有,则需按照以下步骤安装。
    • 先进行 Python 的安装,安装包已准备好,直接点击下载。
    • 按照 Python 安装步骤进行安装,关闭窗口,再次运行上述两行命令确认是否安装成功。

二、部署项目

  1. 下载 COW 机器人项目并解压缩。
  2. 解压后,打开 COW 文件夹。
  3. 执行完成后,刷新终端,若最左侧出现“(AI)”字符,则恭喜成功。
  4. 继续,一行一行依次粘贴并回车:
    • cd /root
    • git clone https://github.com/zhayujie/chatgpt-on-wechat
    • 出现下方成功的样子则成功,若失败或没反应,刷新重试。
  5. 继续一行一行依次输入:
    • cd chatgpt-on-wechat/
    • pip install -r requirements.txt
    • pip install -r requirements-optional.txt
    • pip3 install zhipuai
  6. 到“文件”菜单中,点击文件-找到 root,进入 root 文件夹,找到 chatgpt-on-wechat 文件夹,并进入。
  7. 点击文件夹上方功能栏中的“终端”(注意不是左侧一级菜单里的终端)。
  8. 粘贴“cp config-template.json config.json”,点击回车,关闭弹窗。
  9. 刷新页面,在当前目录下找到 config.json 文件,按照要求修改红框中的内容。
  10. 复制代码时注意复制全,每次只粘贴一行,然后点击一次回车,只有最左边显示“[]”中括号时,才是上一个命令执行完毕。
    • 第一步:cd /root || exit 1
    • 第二步:[具体两行代码]
    • 第三步:rm -f Anaconda3-2021.05-Linux-x86_64.sh
    • 第四步:/root/anaconda/bin/conda create -y --name AI python=3.8
    • 第五步:依次粘贴并回车[具体代码]

注意:本教程完成后,程序将在您的电脑本地运行,若关掉窗口,进程结束。若想让 AI 持续使用,必须保持窗口打开和运行,即电脑不能关。

Content generated by AI large model, please carefully verify (powered by aily)

References

张梦飞:【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

以下二选一,建议先选择COW注意:本教程完成后,程序将在你的电脑本地运行,假如你关掉了窗口,那么进程也就结束。所以,如果你想让AI持续使用,就必须保持窗口打开和运行,也就是电脑不能关。以下教程以windows10系统为例/mac系统步骤也是一样,只是打开命令符的命令些许不同,遇到问题问大模型就好了二、安装环境1、点击电脑“系统”,直接输入“cmd”,点击回车,打开命令窗口2、在命令窗口中,粘贴入以下代码,确认是否有python3、粘贴入以下代码,确认是否有pip4、两步命令输入完,核对一下如果有的话,会如上图一样,分别显示出版本号。那么可以跳过“安装环境这一步,直接到“二、部署项目””如果没有的话,会如下图所示,那么需要安装下边的步骤,一步一步安装。5、先进行python的安装,我帮你把python的安装包已经下载好了,直接点击下载:5.1 python安装步骤:5.2关闭窗口,再次运行那两行命令会发现已经有了。三、部署项目6、下载COW机器人项目,也给你准备好了,直接下载,然后解压缩。7、解压后,打开COW文件夹,

张梦飞:【保姆级】一步一图,手把手教你把AI接入微信

6、执行完成后。刷新一下,重新进入终端,你会看到,最左侧出现了(AI)的字符。如果出现了,那么恭喜你。7、继续,一行一行依次粘贴,依次回车:cd /root8、第八步:这个注意一定要粘贴完整,这里容易粘贴不全。git clone https://github.com/zhayujie/chatgpt-on-wechat9、出现下方的样子,就是成功了。如果失败,或者没反应,刷新一下,重新再试一次10、继续一行一行,依次输入:cd chatgpt-on-wechat/pip install -r requirements.txt11、等待执行完成,如上图后,继续粘贴:pip install -r requirements-optional.txt12、继续输入pip3 install zhipuai13、上边的都执行完成后。现在我们到“文件”菜单中去执行,点击文件-找到root,进入root文件夹,找到chatgpt-on-wechat文件夹,并进入。14、点击文件夹上方功能栏中的【终端】(注意,不是左侧一级菜单里的终端,是文件夹上方那一行的终端电脑)15、粘贴进入,点击回车。点击后,关闭此弹窗。cp config-template.json config.json16、刷新页面。在当前目录下,找到config.json文件。如下图:17、双击这个文件,我画红框的地方是需要修改的地方。

张梦飞:【保姆级】一步一图,手把手教你把AI接入微信

下边将出现代码,复制的时候,注意复制全。代码我已经分好步骤,每次只需要粘贴一行,然后点击一次回车。回车后,只有最左边显示[]中括号时,才是上一个命令执行完毕了。没有出现[]中括号对话前缀时,不要操作。如果你发现ctrl+v粘贴不进去,试试shift+ctrl+v粘贴。点击菜单中,下边的“终端”,然后开始把代码粘贴进入。1、第一步:cd /root || exit 12、第二步:下方两行粘贴进入,然后点击回车,等待下载完成。(如果这里有了卡点,进行不下去,可能是因为服务器网络问题,去拉取的时候下载不全,可以复制网址,手动去下载到电脑上。然后进入文件夹,找到root文件夹,把下载的文件上传进去就好了。)2.2、再粘贴下方代码,出现下图,就代表在执行中了。3、然后把下边这行粘贴进去,点击回车。rm -f Anaconda3-2021.05-Linux-x86_64.sh4、继续粘贴:/root/anaconda/bin/conda create -y --name AI python=3.85、继续,一行一行依次粘贴,依次回车:echo 'source /root/anaconda/bin/activate AI' >> ~/.bashrc

Others are asking
如何让企业微信可以接上 AI?让我的企业微信号变成一个 AI 客服
要让企业微信接上 AI 并变成一个 AI 客服,可以参考以下内容: 1. 基于 COW 框架的 ChatBot 实现方案:这是一个基于大模型搭建的 Chat 机器人框架,可以将多模型塞进微信(包括企业微信)里。张梦飞同学写了更适合小白的使用教程,链接为: 。 可以实现打造属于自己的 ChatBot,包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能,以及常用开源插件的安装应用。 正式开始前需要知道:本实现思路需要接入大模型 API 的方式实现(API 单独付费)。 风险与注意事项:微信端因为是非常规使用,会有封号危险,不建议主力微信号接入;只探讨操作步骤,请依法合规使用,大模型生成的内容注意甄别,确保所有操作均符合相关法律法规的要求,禁止将此操作用于任何非法目的,处理敏感或个人隐私数据时注意脱敏,以防任何可能的滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等;多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等;多消息类型支持,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能;多部署方法,如本地运行、服务器运行、Docker 的方式。 2. DIN 配置:先配置 FastGpt、OneAPI,装上 AI 的大脑后,可体验知识库功能并与 AI 对话。新建应用,在知识库菜单新建知识库,上传文件或写入信息,最后将拥有知识库能力的 AI 助手接入微信。
2025-05-09
围棋AI
围棋 AI 领域具有重要的研究价值和突破。在古老的围棋游戏中,AI 面临着巨大挑战,如搜索空间大、棋面评估难等。DeepMind 团队通过提出全新方法,利用价值网络评估棋面优劣,策略网络选择最佳落子,且两个网络以人类高手对弈和 AI 自我博弈数据为基础训练,达到蒙特卡洛树搜索水平,并将其与蒙特卡洛树搜索有机结合,取得了前所未有的突破。在复杂领域 AI 第一次战胜人类的神来之笔 37 步,也预示着在其他复杂领域 AI 与人类智能对比的进一步突破可能。此外,神经网络在处理未知规则方面具有优势,虽然传统方法在处理象棋问题上可行,但对于围棋则困难重重,而神经网络专门应对此类未知规则情况。关于这部分内容,推荐阅读《这就是 ChatGPT》一书,其作者备受推崇,美团技术学院院长刘江老师的导读序也有助于了解 AI 和大语言模型计算路线的发展。
2025-05-08
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容: 1. Coze:支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容,可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时,输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序,标注要采集的内容,内容上传成功率高。 2. AI Share Card:能够一键解析各类网页内容,生成推荐文案,把分享链接转换为精美的二维码分享卡。通过用户浏览器,以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频(文生视频)的相关信息: 一些提供文生视频功能的产品: Pika:擅长动画制作,支持视频编辑。 SVD:Stable Diffusion 的插件,可在图片基础上生成视频。 Runway:老牌工具,提供实时涂抹修改视频功能,但收费。 Kaiber:视频转视频 AI,能将原视频转换成各种风格。 Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多相关网站可查看:https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤(以梦 AI 为例): 进入平台:打开梦 AI 网站并登录,新用户有积分可免费体验。 输入提示词:涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成:确认提示词无误后,选择模型、画面比例,点击「生成」按钮。 预览与下载:生成完毕后预览视频,满意则下载保存,不理想可调整提示词再试。 视频模型 Sora:OpenAI 发布的首款文生视频模型,能根据文字指令创造逼真且充满想象力的场景,可生成长达 1 分钟的一镜到底超长视频,视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
Ai在设备风控场景的落地
AI 在设备风控场景的落地可以从以下几个方面考虑: 法律法规方面:《促进创新的人工智能监管方法》指出,AI 的发展带来了一系列新的安全风险,如对个人、组织和关键基础设施的风险。在设备风控中,需要关注法律框架是否能充分应对 AI 带来的风险,如数据隐私、公平性等问题。 趋势研究方面:在制造业中,AI Agent 可用于生产决策、设备维护、供应链协调等。例如,在工业设备监控与预防性维护中,Agent 能通过监测传感器数据识别异常模式,提前通知检修,减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面,AI Agent 也能发挥重要作用,实现生产的无人化、决策的数据化和响应的实时化。
2025-04-20
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总: 4 月 11 日: Pika 上线 Pika Twists 能力,可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中,结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术,可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术,实现从单张图片快速生成超逼真的 3D 头像,在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage,通过图片生成可自由拼装 3D 场景,再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型,无缝支持各种视频生成任务(文本/图像/视频到视频)。 4 月 9 日: ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下,可生成完整的 1 分钟视频。 4 月 14 日: 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
如何本地部署大模型,如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容: 本地部署大模型的主要步骤: 1. 选择合适的部署方式,包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础,可以使用开源的预训练模型如 BERT、GPT 等,也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 5. 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护,大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤: 1. SDXL 的大模型分为两个部分,base+refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于对生成的模型进行细化,生成细节更丰富的图片。还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型,首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中,base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后,启动 webUI,就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤: 1. 下载并安装 Ollama,点击进入根据电脑系统下载 Ollama:https://ollama.com/download ,下载完成后,双击打开,点击“Install”,安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)。如果是 windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行,粘贴进入,点击回车,等待下载完成。 总的来说,部署大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下: 1. 模型下载:SDXL 的大模型分为两个部分,第一部分 base + refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外,还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】,回复【SDXL】获取云盘下载链接。 2. 版本升级:要在 webUI 中使用 SDXL 的大模型,需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型:将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用:完成上述步骤后启动 webUI,即可在模型中看到 SDXL 的模型。正常使用时,先在文生图中使用 base 模型,填写提示词和常规参数(如尺寸设置为 10241024)进行生成。然后将图片发送到图生图当中,大模型切换为“refiner”,重绘幅度开小一点再次点击生成。 5. 插件辅助:若觉得操作麻烦,可在扩展列表中搜索 refine 安装插件并重启,启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外,关于本地部署资讯问答机器人:Langchain + Ollama + RSSHub 实现 RAG,步骤包括导入依赖库(如 feedparse 用于解析 RSS 订阅源,ollama 用于在 python 程序中跑大模型,使用前需确保 ollama 服务已开启并下载好模型)、从订阅源获取内容(通过指定函数从 RSS 订阅 url 提取内容,并将长文本拆分成较小的块附带相关元数据)、为文档内容生成向量(使用文本向量模型 bgem3,从 hf 下载好模型后放置在指定路径,通过函数利用 FAISS 创建高效的向量存储),最终实现 RAG。
2025-04-13
我有秋叶整合包,然后需要怎么搭建本地部署?
以下是使用秋叶整合包搭建本地部署的步骤: 1. 下载整合包:可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器,可一键启动。如果有其他需求,可以在高级选项中调整配置。 显存优化根据显卡实际显存选择,不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度,建议开启。 4. 准备工作完毕后,点击一键启动即可。等待浏览器自动跳出,或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch,则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁,请根据需求在“版本管理”目录下更新,同时注意插件的更新。 在 webui 的“扩展”选项卡下,可以安装插件。点击“加载自”后,目录会刷新,选择需要的插件点击右侧的 install 即可安装。安装完毕后,需要重新启动用户界面。 具体安装方法: 1. 打开整合包链接(https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ,提取码:caru),下载《1.整合包安装》,存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》,鼠标右击文件,点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘(避免 C 盘被占满),点击确定。 5. 解压完成后,来到第二个文件夹,双击里面的文件,点击安装。 6. 打开刚刚解压保存的 SD 的根目录,找到启动器,鼠标右击启动器,点击“发送到”,选择桌面快捷方式,方便下次进入。 7. 双击启动器,等待更新,接着点击左边第二个“高级选项”,在显存优化里,根据自己电脑的显存选择。 8. 回到第一个一键启动,点击右下角的一键启动。出现代码页面不用管,等待 SD 的主界面在网页上自动弹出。如果出现报错,可以回到最开始的界面,在左边点击“疑难解答”,再点击右边的“开始扫描”,最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式: 通过云服务器、dify、智能微秘书来免费搭建微信机器人: 1. 在宝塔面板的终端安装相关命令,这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量,若 nginx 容器无法运行,可能是 80 端口被占用,可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP(去掉后面的:8888),进入后邮箱密码随便填,建立知识库并进行设置。 4. 选择模型,国内模型有免费额度可选,如智谱 ai,获取钥匙并复制保存,创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人: 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key,将 Ai_Lock 修改成“1”,并在 OpenAI 处添加模型 key;若没有,保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下,找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框,正常登录微信,等待系统自动初始化必备文件。 6. 运行成功后,用“大号”给机器人发消息,拿到 wxid 并返回替换。 7. 添加完后,用小号登录,大号可对小号发号施令。 部署和训练自己的 AI 开源模型: 1. 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础,如开源的 BERT、GPT 等,也可自行训练基础模型。 4. 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调,优化模型结构和训练过程以提高性能。 5. 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护,重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说,部署和训练自己的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等,根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)的相关内容: 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中,打开右上角设置,进入模型提供商,配置 Ollama 相关信息,基础 URL 按要求设置,设置完成后点击确定。 导入一个 embedding 模型用于文本向量化,导入成功后设置系统模型设置,然后返回知识库创建知识库。 进入数据集,导入文件(可设置文件夹当作知识库),导入完毕后解析文件,解析速度取决于本机 GPU 性能,解析好后进行检索测试,测试没问题即可进入聊天界面,助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序,官方网址:https://ollama.com/ 。 下载默认到 C 盘(一般为固态盘,运行速度快),若想修改安装目录到 D 盘,后续会有说明。 下载完右下角会出现 Ollama 图标,打开命令行输入相关命令回车。 若显卡是英伟达 2060Super,可选择 Deepseekr1:14b 的模型,根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型,Ollama 的 bge 模型官方网址:https://ollama.com/library/bgem3 ,输入相关命令,下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了?这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith:革新你的工作方式,体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith:探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙?硅基流不动?看看这篇,内含 18 个平台,可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度:Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题:自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型,如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤: 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址:https://useanything.com/download 安装完成后进入配置页面,主要分为三步: 第一步:选择大模型 第二步:选择文本嵌入模型 第三步:选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式,提供了 Chat 模式(大模型根据训练数据和上传文档数据综合给出答案)和 Query 模式(大模型仅依靠文档中的数据给出答案)。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入,根据电脑系统,下载 Ollama:https://ollama.com/download 下载完成后,双击打开,点击“Install” 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制相关命令行,粘贴进入,点击回车。 三、智能纪要中的相关内容 在智能纪要中,许键介绍了模型 API 调用方法与知识库创建,包括获取 API key 位置及调用设置,详细讲解了创建 Rag 应用(知识库)流程,如上传非结构化文件、数据解析、切分段落等操作,并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨,以及通义千问相关应用及明天课程安排交流等内容。 总之,本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置,同时不断实践和探索,以达到理想的效果。
2025-04-10