给我一个siliconflow部署deepseek的教程 以下是关于 siliconflow 部署 deepseek 的教程:
基于 FP4 优化的 DeepSeekR1 使用 TensorRTLLM 部署:
模型地址:https://huggingface.co/nvidia/DeepSeekR1FP4
硬件要求:需要支持 TensorRTLLM 的英伟达 GPU(如 B200),并且需要 8 个 GPU 来实现 tensor_parallel_size=8 的张量并行。
性能优化:代码利用 FP4 量化、TensorRT 引擎和并行计算,旨在实现高效、低成本的推理,适合生产环境或高吞吐量应用。
在 Docker+RAGFlow+Ollama 中配置本地部署的 DeepSeek 模型:
返回 RAGFlow 中,打开右上角设置,进入模型提供商。
选择 Ollama,配置相关信息,基础 URL 如下配置。
配置完成后点击确定。
导入一个 embedding 模型,用于文本的向量化。
设置系统模型设置。
进入数据集,导入文件,可设置文件夹当作知识库。
对文件进行解析,解析速度取决于本机 GPU 性能。
解析完成后进行检索测试,没问题即可进入聊天界面。
云端模型部署实操:
登录 Pad 控制台,讲解 model gallery 工具及模型。
演示部署 Deepseek R1 和千问 7B 模型,包括选框架、资源、出价等。
介绍查看部署状态、日志方法。
说明用 postman 在线调试模型获取名称及后续使用方式。
模型蒸馏概念、应用场景及本地部署实操:
先介绍云平台部署情况。
讲解模型蒸馏概念、方式,阐述其应用场景及修复模型幻觉的作用。
进行实操演示,带领大家在 model gallery 部署 7B instruct 模型,展示部署步骤、资源竞价等内容,部署完成后用简单问题测试模型并呈现错误回答。
2025-03-18