Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

给我推荐一个家庭用的私人部署deepseek电脑配置,要求价格在5W一下,能够比较流畅的运行

Answer

对于家庭用的私人部署 deepseek 电脑配置,在 5 万元以下的预算,以下是一个推荐配置:

  • CPU:Intel Core i9-13900K 或 AMD Ryzen 9 7950X
  • 主板:选择与所选 CPU 兼容的高端主板,如华硕、技嘉等品牌的 Z790 或 X670 系列
  • 内存:32GB 或 64GB DDR5 高频内存
  • 硬盘:1TB NVMe M.2 固态硬盘作为系统盘,再加上 4TB 以上的机械硬盘用于数据存储
  • 显卡:NVIDIA GeForce RTX 4070Ti 或 AMD Radeon RX 7900 XTX
  • 电源:850W 及以上的高品质电源
  • 机箱:选择散热良好、空间宽敞的机箱

请注意,电脑配置的选择还需要考虑您的具体需求和使用场景,以上配置仅供参考。

Content generated by AI large model, please carefully verify (powered by aily)
Others are asking
给我推荐一个家庭用的私人部署deepseek电脑配置,要求价格在5W一下,能够比较流畅的运行,还有采用那一个版本的模型
很抱歉,您提供的内容中没有关于家庭用私人部署 deepseek 电脑配置的相关信息。如果您需要配置一台价格在 5 万以下、能流畅运行的家庭用电脑,以下是一些建议: CPU:可以选择英特尔酷睿 i9 或 AMD 锐龙 9 系列的高端处理器。 显卡:选择 NVIDIA GeForce RTX 40 系列的高端显卡,如 RTX 4080 或 RTX 4070Ti。 内存:32GB 或 64GB 的 DDR5 内存。 存储:1TB 或 2TB 的 NVMe SSD 作为系统盘,再加上大容量的机械硬盘用于数据存储。 主板:选择与所选 CPU 兼容的高端主板,以确保稳定性和扩展性。 关于模型版本,Midjourney 的 V5 模型是较新且先进的版本,具有更广泛的风格范围、更高的图像质量、更详细的图像等优点。您可以通过添加“v 5”参数或使用“/settings”命令并选择 MJ Version 5 来使用该模型。
2025-03-17
给我推荐一个家庭用的私人部署deepseek电脑配置,要求价格在5W一下,能够比较流畅的运行,还有采用那一个版本的模型
以下是为您推荐的家庭用私人部署 deepseek 电脑配置,价格在 5 万以下,能够较流畅运行: CPU:Intel Core i913900K 或 AMD Ryzen 9 7950X 显卡:NVIDIA GeForce RTX 4080 或 RTX 4070Ti 内存:32GB 或 64GB DDR5 高频内存 硬盘:1TB NVMe M.2 固态硬盘 + 4TB 机械硬盘 主板:支持所选 CPU 的高端主板,如 Z790 或 X670 系列 电源:850W 及以上的高品质电源 关于模型版本,Midjourney 最新的模型是 V5 版本,于 2023 年 3 月 15 日发布。使用此模型,您可以在提示词末尾添加 v 5 参数,或使用 /settings 命令并选择 MJ Version 5。该模型具有很高的连贯性,擅长解释自然语言提示,分辨率更高,并支持如 tile 重复图案等高级功能。它在风格范围、图像质量、细节表现、对提示的响应以及图像提示性能等方面都有显著改进。
2025-03-17
做AI工具对电脑配置有要求么,需要什么样的电脑配置
做 AI 工具对电脑配置有一定要求,具体如下: 系统:Windows 7 以上(包括 Win10 和 Win11),Mac 系统也可以,但存在一些难点。 显卡:NVDIA 独立显卡且显存至少 4G 起步,Mac 系统中,M1 芯片只有 CPU 没有 GPU,生图会较慢。 硬盘:留有足够的空间,最低 100G 起步(包括模型)。 内存:电脑运行内存 8GB 以上,推荐 16GB 以上;显卡内存 4GB 以上,推荐 8GB 以上。 如果电脑配置不达标,可以选择云端部署,Mac 系统也推荐云端部署。
2025-03-13
用这些AI工具电脑配置
以下是一些使用 AI 工具时可能需要的电脑配置相关信息: Garman:AI 具身对话机器人 硬件组装:需要一台电脑和一台 iPhone,安卓目前不支持。 工具准备:剪刀、钳子、小十字螺丝刀、单面胶、双面胶。 数据线:优先推荐双头 TYPEC 数据线,其次是 USB TYPEC 数据线,多备几条,注意充电线不一定是数据线,要确保可传输数据。 这不是一台电脑,这是一个伴侣! 开发者工具: 个性(LLM 的文本):一些开源模型(如 Vicuna 和 Pygmalion)已微调,适用于各种应用场景。 记忆(向量存储):像 Pinecone 这样的向量存储系统可建立持续关系,配置代码存储长期记忆等信息。 语音(语音合成):像 ElevenLabs 这样的产品可赋予声音,控制年龄、性别和口音。 外表(SD 模型作图):LoRAs 可精细控制图像风格等。 动画(视频动画):像 DID 和 HeyGen 这样的工具可使图像“说话”。 平台:大多数开发者在 GCP 和 AWS 上部署和运行,像 Steamship 这样的解决方案正受关注。 UI 层:SillyTavern、Agnaistic 和 KoboldAI 是受欢迎的选择。 绘制逻辑视图、功能视图、部署视图的工具 Lucidchart:流行的在线绘图工具,支持多种图表创建。 Visual Paradigm:全面的 UML 工具,提供多种架构视图创建功能。 ArchiMate:开源建模语言,与 Archi 工具配合使用。 Enterprise Architect:强大的建模、设计和生成代码工具。 Microsoft Visio:广泛使用的图表和矢量图形应用程序。 draw.io(diagrams.net):免费在线图表软件。 PlantUML:文本到 UML 转换工具。 Gliffy:基于云的绘图工具。 Archi:免费开源工具,支持创建 ArchiMate 和 TOGAF 模型。 Rational Rose:IBM 的 UML 工具。
2024-11-30
AI视频需要什么 电脑配置
制作 AI 视频通常需要以下方面的准备和配置: 1. 内容准备: 准备一段视频中播放的文字内容,例如产品介绍、课程讲解、游戏攻略等。可以自行创作,也可以利用 AI 生成。 2. 视频制作工具: 可以使用剪映 App 对视频进行简单处理,电脑端打开剪映 App 点击“开始创作”,选择顶部工具栏中的“文本”,并点击默认文本右下角的“+”号为视频添加文字内容轨道。 3. AI 换脸方面: 有多个 AI 产品可实现换脸效果,如开源免费的 facefusion。 本机解决方案需要 Python 环境、安装视频解码器等多个依赖软件,对 GPU 依赖较大,本地计算机若无 GPU 或 GPU 显存较小,执行速度缓慢,不推荐本地化安装。 云服务解决方案可利用云厂商如阿里云的 PAI 和 AutoDL 提供的大模型运行环境和计算能力,但会产生一定费用。例如选择 AutoDL,在算力市场中选取能接受价格且 GPU 配置更高的算力设备,并通过模型镜像启动 GPU 服务器。
2024-09-24
使用开源大模型本地化部署使用电脑配置,推荐几款笔记本电脑
以下是关于使用开源大模型本地化部署所需电脑配置及笔记本电脑推荐的相关信息: 运行大模型需要较高的机器配置,个人玩家大多负担不起。以下是不同类型大模型的配置要求: 生成文字大模型: 最低配置:8G RAM + 4G VRAM 建议配置:16G RAM + 8G VRAM 理想配置:32G RAM + 24G VRAM(跑 GPT3.5 差不多性能的大模型) 生成图片大模型(比如跑 SD): 最低配置:16G RAM + 4G VRAM 建议配置:32G RAM + 12G VRAM 生成音频大模型: 最低配置:8G VRAM 建议配置:24G VRAM 对于本地化部署,不建议使用最低配置,因为速度会非常慢。例如,用 8G 的 Mac 电脑尝试过,效果不佳。 由于本地化部署对电脑配置要求较高,不太推荐本地化安装实现。如果想使用开源大模型,可选择利用云厂商已提供好的大模型运行环境和计算能力,比如阿里云的 PAI 和 AutoDL。 在笔记本电脑选择方面,建议选择具备以下配置的机型: 1. 内存:16GB 及以上的 RAM。 2. 显卡:具有 8GB 及以上 VRAM 的独立显卡。 但具体的笔记本电脑型号还需根据您的预算和其他需求来确定。
2024-09-12
deepseek官方教程
以下是关于 DeepSeek 的官方教程相关信息: 火山方舟 DeepSeek 申请免费额度教程,包含多种 API 使用方式,如飞书多维表格调用、Coze 智能体调用、浏览器插件调用。可以使用邀请码 D3H5G9QA,通过邀请链接 https://www.volcengine.com/activity/deepseek?utm_term=202502dsinvite&ac=DSASUQY5&rc=D3H5G9QA 邀请可拿 3000 万 tokens,畅享 671B DeepSeek R1,活动截止至北京时间 20250218 23:59:59。同时,火山方舟大模型服务平台的模型服务计费文档有更新,DeepSeekR1、V3 模型分别提供了 50 万免费额度和 API 半价活动。 有关于一线教师的 AI 需求与高效工具推荐,如让模型创作诗歌、生成宣传标语、提示库(https://apidocs.deepseek.com/zhcn/promptlibrary)、代码解释、内容分类、角色扮演(自定义人设)、散文写作、文案大纲生成、模型提示词生成等。 2 月 14 日的社区动态中,有《突破 DeepSeek R1 能力天花板,火山引擎扣子+飞书一站式企业解决方案》《羊毛快薅|字节火山上线了 DeepSeek 系列模型并悄悄更改了模型服务价格...》等内容,还附上了飞书多维表格、Coze 的接入使用方法等。此外,还有关于 DeepSeek 关键 9 篇论文及创新点的讲解,以及 DeepSeek 官方发布的 R1 模型推荐设置。
2025-04-15
coze搭建工作流调用deepseek如何把模型的输出存入到多维表中
以下是将模型的输出存入到多维表中的步骤: 1. 逐步搭建 AI 智能体: 搭建整理入库工作流。 设置大模型节点提取稍后读元数据,使用 MiniMax 6.5s 245k,设置最大回复长度至 50000,以确保能完整解析长内容网页。 进行日期转时间戳,后续的飞书多维表格插件节点在入库日期字段时只支持 13 位时间戳,需要使用「日期转时间戳time_stamp_13」插件进行格式转化。 把稍后读元数据转换为飞书多维表格插件可用的格式,飞书多维表格插件目前(2024 年 08 月)只支持带有转义符的 string,以 Array<Object>格式输入,所以必须将之前得到的元数据数组进行格式转换。 添加「飞书多维表格add_records」插件,只需要设置{{app_token}}与{{records}}参数,将元数据写入飞书表格。 2. 搭建 Coze 工作流: 打开 Coze 的主页,登录后,在【工作空间】创建一个智能体。 在编排页面,给智能体编辑好人设,可先写一个简单的,然后点右上角自动优化,系统会自动补全更精细的描述。点击工作流的+,创建一个工作流。 大模型节点把 input 给到 DeepSeek,让 DeepSeek 按照提前规定的输出框架生成对应文案。 生图节点将输出给到图像生成组件画图。 结束输出时,两个输出给到最终的 end 作为最终的输出。注意在编写系统提示词时,如果需要 input 可被 DeepSeek 调用,需要用{{input}}作为参数引入,不然大模型不知道自己需要生成和这个 input 相关的结果。编排完,点击【试运行】,调试至满意后点击发布。
2025-04-14
deepseek写论文
以下是关于 DeepSeek 在不同方面应用的相关信息: 应用场景:包括脑爆活动方案、会议纪要、批量处理客户评论、分析总结复盘内容、生成专业软件使用过程、写小说框架、写论文、写文案、写小红书笔记、写周报、做设计头脑风暴、做网站、分析感情问题等。 优势与不足:在写文方面全面领先,但长文可能太发散、文风用力过猛导致审美疲劳,且模型多样性不够,相同 prompt 提问多次答案雷同。 应对策略:写理性文章时,可先与 DeepSeek 讨论思路,再用 Cloud 3.5 批量生成;用 O1 模型对创作的字数控制有一定效果,也可通过多轮对话让 AI 增删改查来调整字数。 创作相关:模仿特定小说家的文学方式创作小说,需在提示词中描述文风特征;邀请大家在腾讯频道发布用 AI 写的小说并鉴赏。 发展历程:DeepSeek 历时 647 天在大语言模型(LLM)领域取得突破,发布 13 篇论文。谷歌 CEO 坦言 Deep Seek 的突破标志着 AI 的全球化进程。
2025-04-13
如何使用deepseek写论文?
使用 DeepSeek 写论文可以参考以下几点: 1. 给予 DeepSeek 更多自由发挥的空间,避免过度限制。 2. 注意旧模型在文学创作中可能存在的过度道德说教和正面描述趋势,导致结果生硬死板的问题。 3. 了解 DeepSeek 在文风、哲学思考和触动人情感方面的优秀表现,利用其文创能力为论文增添特色。 4. 参考提示词编写的方法,例如收集信息、重新定义问题等,以更有效地向 DeepSeek 传达需求。 5. 可以借鉴他人使用 DeepSeek 写论文的经验,如 Yvonne 的成功案例。 需要注意的是,虽然 DeepSeek 能提供帮助,但仍需您对生成的内容进行审核和修改,以确保论文的质量和准确性。
2025-04-13
deepseek v3微调
以下是关于 Deepseek V3 微调的相关信息: 云舒文章总结卡 2.0 提示词全面支持 Deepseek V3,效果媲美 Claude3.7。V3 需要为 0324 更新的版本,DS 官网及 API 已更新,如调用其它平台 API 需要查看 DS 版本号。提示词复制链接:。横版为 1080 x 800 卡片提示词,竖版为 750 x 不限高卡片提示词。 各平台均需下载 html 文件,打开后才能查看真实效果,平台自带预览因兼容性问题无法正常展示效果。Claude 使用平台包括 Claude3.7 官网、API、Cursor,使用时需要下载为 HTML 文件打开查看效果。Deepseek 使用平台包括 Deepseek 官网、API(V3 需要为 0324 更新的版本),Deepseek 需要复制代码到 html 文件里,然后保存进行查看。 关于智能纪要,会带着大家复现模型的蒸馏和微调,并讲解相关知识。用 Deepseek RE Zero 蒸馏出带思考的数据,基于 Deepseek V3 微调,进行冷启动,再做强化学习,还从非公布模型提取微调数据,加上人类偏好,最终形成 R1。Deepseek R1 反过来蒸馏数据微调 V3,形成互相帮助的局面。 北京时间 00:30 至 08:30 期间,DeepSeek API 价格大幅下调,DeepSeekV3 降至原价的 50%。
2025-04-12
deepseek的使用技巧
以下是关于 DeepSeek 的使用技巧: 1. 了解其特点与优势: 推理型大模型:核心是推理型,无需用户提供详细步骤指令,通过理解真实需求和场景提供答案。 更懂人话:能理解用户用“人话”表达的需求,无需特定提示词模板。 深度思考:回答问题时能深度思考,非简单罗列信息。 文风转换器:可模仿不同作家文风写作,适用于多种文体和场景。 2. 更多提示词技巧请查看 3. 在 AI 切磋大会第十期 2 月 23 日 deepseek 专场中,分享了以下使用方法技巧: 分享使用 DeepSeek 在工作生活上的案例。 分享 DeepSeek 输出“超预期结果”的惊艳场景。 分享别人使用的案例。 方法论碰撞,如使用 DeepSeek 的技巧、与其他工具的协同方案、模型微调/部署的技巧方法、获取流量/客户等。 在 Workshop 自由探讨环节,参与者可自由组队,确定围绕 DeepSeek 应用的项目方向,进行头脑风暴和制定落地方案,并提交项目初稿。推荐使用 DeepSeek + 飞书多维表格、DeepSeek + 扣子等工具。若讨论无方向,可设定标准问题引导;分组混乱,可预设热门主题让参与者自行加入。
2025-04-12
在哪里能流畅的用deepseek
DeepSeek 是一款方便实用的工具,以下是关于它的一些重要信息: 网址:https://www.deepseek.com/zh 。国内能访问,网页登录方便,目前完全免费。 使用方法: 搜索网址,点击“开始对话”。 将装有提示词的代码发给 DeepSeek。 认真阅读开场白之后,正式开始对话。 环境配置: 首先到 DeepSeek 的官网(https://www.deepseek.com/),进入右上角的 API 开放平台。早期 DeepSeek 有赠送额度,若没有赠送余额可选择充值,支持美元和人民币两种结算方式以及各种个性化充值方式,并创建一个 API key,注意 API key 只会出现一次请及时保存。 下载如 cursor(https://www.cursor.com/)或 vscode(https://code.visualstudio.com/)等代码编辑器(以 cursor 为例),在插件页面搜索并安装 Roocline,安装完后打开三角箭头可看到 RooCline,选中并点击齿轮进入设置,依次设置: API Provider:选择 DeepSeek。 API Key:填入已创建的 key。 模型:选择 DeepSeekreasoner。 语言偏好设置。 记得把 HighRisk 选项都打开,最后点击 Done 保存修改。在聊天框输入产品需求,输入需求后点击星星优化提示词,最终得到想要的结果。 在生成 2048 游戏方面,DeepSeek 表现简便准确。同时,还有一个提示词“HiDeepSeek”能让 DeepSeek 的能力更上一层楼,其设计思路包括将 Agent 封装成 Prompt 等。
2025-02-10
有哪些能够提升视频流畅度的ai
以下是一些能够提升视频流畅度的 AI 技术和工具: 1. 关键帧+补间技术: 关键帧生成方式多样,如通过 Stable Diffusion 等方式,能保证不同帧风格一致。 补帧算法包括光流补帧(计算量小、速度快)、基于姿态补帧(适合复杂运动对象)、重参考补帧等。 完善策略有渐进补帧、递归框架、增强后处理、对比学习、模糊处理、融合多个模型等。 2. DiT:能将视频分解成帧并逐帧去噪,生成流畅连贯的视频,在时间维度上保持一致性。 3. 视频配音效的 AI 工具: 支持 50 多种语言配音,音质自然流畅,提供实时配音等功能,并能将语音转录为文本,与多种工具整合。 Vidnoz AI 支持 23 多种语言配音,有语音克隆等功能,提供语音参数自定义和背景音乐添加工具,有不同定价方案。 在选择相关工具时,需考虑支持的语言数量、语音质量、自定义选项和价格等因素。
2025-01-21
我想翻译一些日漫,我该如何提问才可以让得到的翻译结果更接近正常人说话,而不是简单的直译。并且得到的结果必须与原文所表达的内容不出现差错,翻译结果读起来流畅自然
很抱歉,知识库中的内容没有直接针对您如何翻译日漫以获得更自然流畅且准确结果的相关指导。但一般来说,要实现这样的翻译效果,您可以从以下几个方面考虑: 1. 深入理解日漫的文化背景、角色性格和情节发展,以便更好地把握原文的“意”。 2. 注重上下文的连贯和逻辑,不仅仅是逐句翻译,而是从整体上把握语义。 3. 避免过于拘泥于原文的句式和词汇,灵活运用目标语言的表达方式。 4. 多参考优秀的日漫翻译作品,学习他人的翻译技巧和风格。 5. 对于一些特定的文化元素或术语,要进行适当的解释或转换,以确保目标读者能够理解。
2024-10-27
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式: 通过云服务器、dify、智能微秘书来免费搭建微信机器人: 1. 在宝塔面板的终端安装相关命令,这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量,若 nginx 容器无法运行,可能是 80 端口被占用,可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP(去掉后面的:8888),进入后邮箱密码随便填,建立知识库并进行设置。 4. 选择模型,国内模型有免费额度可选,如智谱 ai,获取钥匙并复制保存,创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人: 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key,将 Ai_Lock 修改成“1”,并在 OpenAI 处添加模型 key;若没有,保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下,找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框,正常登录微信,等待系统自动初始化必备文件。 6. 运行成功后,用“大号”给机器人发消息,拿到 wxid 并返回替换。 7. 添加完后,用小号登录,大号可对小号发号施令。 部署和训练自己的 AI 开源模型: 1. 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础,如开源的 BERT、GPT 等,也可自行训练基础模型。 4. 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调,优化模型结构和训练过程以提高性能。 5. 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护,重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说,部署和训练自己的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等,根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
请问哪个平台支持上传私人知识库文件
以下平台支持上传私人知识库文件: 本地文档: 文本内容: 支持格式:.txt、.pdf、.docx。 操作步骤:在文本格式页签下选择本地文档,然后单击下一步。将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档。每个文件不得大于 20M,一次最多可上传 10 个文件。上传完成后选择内容分段方式,包括自动分段与清洗(系统会对上传的文件数据进行自动分段,并会按照系统默认的预处理规则处理数据)和自定义(手动设置分段规则和预处理规则,包括选择分段标识符、设置分段最大长度、设置文本预处理规则,如替换掉连续的空格、换行符和制表符,删除所有 URL 和电子邮箱地址),最后单击下一步完成内容上传和分片。 表格数据: 支持格式:.csv 和.xlsx。 操作步骤:在表格格式页签下选择本地文档,然后单击下一步。将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档,然后单击下一步。每个文件不得大于 20M,一次最多可上传 10 个文件。配置数据表信息,包括指定数据范围(通过选择数据表、表头、数据起始行指定数据范围)、确认表结构(系统已默认获取表头的列名,可自定义修改列名或删除某一列名)、指定语义匹配字段(选择作为搜索匹配的语义字段)。查看表结构和数据,确认无误后单击下一步,完成上传后单击确定。 Notion: 操作步骤:在文本格式页签下选择 Notion,然后单击下一步。单击授权,首次导入 Notion 数据和页面时需要进行授权。在弹出的页面完成登录,并选择要导入的页面。选择要导入的数据,然后单击下一步。选择内容分段方式,包括自动分段与清洗和自定义,最后单击下一步完成内容上传和分片。 自定义: 操作步骤:在文本格式页签下选择自定义,然后单击下一步。输入单元名称,然后单击确认。单击创建分段,然后在弹出的页面输入要上传的内容。每个分段最多可添加 2000 个字符。单击保存。
2025-03-18
如何搭建私人知识库
搭建私人知识库可以参考以下方法: 1. 基于 GPT 搭建: 给 GPT 输入(投喂)定制化的知识,但 GPT3.5(即当前免费版的 ChatGPT)一次交互(输入和输出)只支持最高 4096 个 Token,约等于 3000 个单词或 2300 个汉字,容量对于绝大多数领域知识不够。 OpenAI 提供了 embedding API 解决方案,embeddings 是一个浮点数字的向量(列表),两个向量之间的距离衡量它们的关联性,小距离表示高关联度,大距离表示低关联度。 将大文本拆分成若干个小文本块(chunk),通过 embeddings API 将小文本块转换成 embeddings 向量,在一个地方(向量储存库)中保存这些 embeddings 向量和文本块,当用户提出问题时,将问题先通过 embeddings API 转换成问题向量,然后与向量储存库的所有文本块向量比对,查找距离最小的几个向量,把这几个向量对应的文本块提取出来,与原有问题组合成为新的 prompt(问题/提示词),发送给 GPT API。 2. 本地部署大模型搭建: 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用,在进行本地知识库的搭建实操之前,需要先对 RAG 有大概的了解。 RAG 的应用包括文档加载(从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器)、文本分割(把 Documents 切分为指定大小的块)、存储(将切分好的文档块进行嵌入转换成向量的形式,并将 Embedding 后的向量数据存储到向量数据库)、检索(通过某种检索算法找到与输入问题相似的嵌入片)、Output(把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案)。 文本加载器就是将用户提供的文本加载到内存中,便于进行后续的处理。
2025-01-22
怎么用已经公布的源代码,自己拥有一个私人ai。详细步骤让小白都能成功,并且列出硬件设施。
以下是使用已公布的源代码拥有一个私人 AI 的详细步骤,适合小白操作,并列出所需的硬件设施: 硬件设施: 云服务器 步骤: 1. 利用云服务器,在宝塔面板的终端安装相关命令。可通过以下链接获取详细信息:https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 。这些命令在宝塔面板的终端安装,安装的 dockercompose 文件位于 /root/dify/docker 目录下。 2. 检查运行情况,使用 docker compose ps 命令,如果 nginx 容器无法运行,可能是 80 端口被占用。将终端输出的代码粘贴给 AI ,按照 AI 的方法检查谁占用了端口,并停止占用进程。确保每一步成功后再进行下一步,可将代码复制询问 AI 以确认。 3. 在浏览器地址栏输入公网 IP(可在腾讯云服务器或宝塔面板地址栏查看,去掉后面的:8888),随便填写邮箱密码建立一个知识库,在知识库中选择设置。 4. 选择模型,国内模型通常有免费额度,例如智谱 AI 。点击设置,从智谱 AI 获取钥匙,进入智谱官网用手机号注册,添加 API keys 并复制。查看免费额度(智谱在资源包管理中查看,赠送 500 万一个月)。 5. 回到之前的页面,复制钥匙并保存,随便创建一个应用。 6. 可以先选择智谱 glm4 进行测试,聊两句看是否有回应,然后点击发布。 7. 点击 api 秘钥,创建一个并复制。
2024-12-20