Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

模型蒸馏

Answer

模型蒸馏是指教师模型将知识蒸馏给学生模型，有多种蒸馏方式。其应用场景广泛，例如在车机等算力有限的场景中，能让小模型在特定领域取得良好效果，还能实现低成本高速推理和修复模型幻觉。

在实际操作中，PaaS 平台支持多机分布式部署，满足推理性能要求，能一站式完成模型蒸馏。例如在阿里云 PAI 平台上进行模型蒸馏微调时，由于上一步中蒸馏的数据集很小，不足以改变模型权重，因此可以使用别人做好的数据集。在使用前可以打开查看里面的结构，和蒸馏出来的数据结构是否一致。然后下载并解压数据集，在 PAI 平台的数据集中找到 OSS 存储，建立数据集并上传。接着选择模型进行部署训练，如选择 7b-instruct 的原生模型，选择训练，注意超参配置。训练完成后可以测试模型效果，在 model gallery 里面找到训练好的模型进行部署和调试。

此外，ComfyUI 原生支持 FLUX.1，FLUX.1 有三个变体：FLUX.1[pro]、FLUX.1[dev]和 FLUX.1[schnell]。FLUX.1[pro]通过 API 提供，被认为是最强的模型；FLUX.1[dev]具有非商用许可，是从“FLUX.1[pro]”提炼得出；FLUX.1[schnell]是一个蒸馏的 4 步模型，拥有 Apache 2.0 商用许可，适用于在本地进行部署或者个人使用。相关模型的链接、模型与工作流地址以及说明文档均可获取。

在云端部署操作方面，登录 Pad 控制台，通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价，部署后可在模型在线服务 EAS 查看状态。模型试用可以使用 postman，通过修改接口和复制文档中的内容进行在线调试，发送请求查看状态码，根据模型名称和相关要求输入内容进行试用。同时要注意模型 API 的调用方法，包括查找位置、获取 token 等，使用后要及时停止或删除服务以避免持续付费。

Content generated by AI large model, please carefully verify (powered by aily)

References

智能纪要：02-26 | DeepSeek部署+蒸馏 2025年2月26日

AI模型的云端部署与试用PaaS平台特性：PaaS平台支持多机分布式部署，满足推理性能要求，使用独占资源和专有网络，能一站式完成模型蒸馏。模型价格差异：简单应用开发平台交付产品价格在千元、万元或几十万元级别，为公司打造专有模型价格更高。云端部署操作：登录Pad控制台，通过model gallery进行部署，如Deepseek R1模型，可选择SG浪或Vim推理框架，根据资源出价，部署后可在模型在线服务EAS查看状态。模型试用方法：使用postman，通过修改接口和复制文档中的内容进行在线调试，发送请求查看状态码，根据模型名称和相关要求输入内容进行试用。作业布置：部署成功一个大语言模型，通过调试证明成功，在调试内容中带上钉钉昵称向模型对话，将成功结果提交问卷可获得阿里云小礼包。模型蒸馏及相关部署操作API调用与服务关停：介绍了模型API的调用方法，包括查找位置、获取token等，强调使用后要及时停止或删除服务以避免持续付费。模型蒸馏概念：教师模型将知识蒸馏给学生模型，有多种蒸馏方式，如R1通过蒸馏数据集并用于学生模型微调。蒸馏应用场景：包括车机等算力有限场景，能让小模型在特定领域有良好效果，还能实现低成本高速推理和修复模型幻觉。模型部署实操：在model gallery中选择模型，如1000问7B指令模型，进行部署，选择VIM加速和竞价模式，查看部署状态和日志。

基于阿里云PAI平台: 复现R1蒸馏+蒸馏训练模型过程

由于我们上一步中蒸馏的数据集很小,不足以改变模型权重,因此我们使用一个别人做好的数据集.在使用前可以打开看下里面的结构,和我们蒸馏出来的数据结构是一致的.[Bespoke-Stratos-17k_thought.json.zip](https://bytedance.feishu.cn/space/api/box/stream/download/all/Wk2fbCI5YohTIxxn1XIclRAZn4e?allow_redirect=1)1.建立你用于训练的数据集下载并解压这个数据集,然后在PAI平台的数据集中找到你的OSS存储,建立数据集.然后上传数据集:1.开始部署模型进行训练选择这个7b-instruct的原生模型,选择训练选择全参微调,并选择自定义数据集:注意超参需要这么配置:系统提示词的内容如下:最后体现在我们的配置上就是这样的:这个训练要求需要使用灵骏的资源,比如8卡H100,需要的显存比较大:点击训练就可以开始训练了.如果在DLC里看到下面的状态就是训练成功了.1.训练完成就可以测试模型效果了同样在model gallery里面找到训练好的模型,点击右上角的部署.使用vllm部署.部署完成后,使用如下命令调试(注意大小写):

ComfyUI FLUX

ComfyUI原生支持FLUX.1有三个变体：FLUX.1[pro]、FLUX.1[dev]和FLUX.1[schnell]1.FLUX.1[pro]：通过API提供，被认为是最强的模型，在指令跟随、视觉质量、图像细节以及多样性方面表现出色。2.FLUX.1[dev]：具有非商用许可，是从“FLUX.1[pro]”提炼得出。显卡不够的,用下面这个模型:fp8版本的flux1-dev-fp8模型（12GB VRAM运行）3.FLUX.1[schnell]：Flux Schnell是一个蒸馏的4步模型,拥有Apache 2.0商用许可，属于4步模型，适用于在本地进行部署或者个人使用。模型链接FLUX.1[dev]https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/mainFLUX.1[dev fp8]https://huggingface.co/Kijai/flux-fp8FLUX.1[schnell]https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main模型比较大,下载慢的可以从网盘里下.模型与工作流地址https://pan.quark.cn/s/2797ea47f691https://pan.baidu.com/s/1nV26Fhn3WYBLrg2hSA0_YQ?pwd=cycy说明文档https://xiaobot.net/post/8fd64f3f-52d1-4948-824d-5ee0c38e2594

Others are asking
热点的大模型微调蒸馏工具有哪些
以下是一些热点的大模型微调蒸馏工具： FLUX.1：包括 FLUX.1（可商用，为本地开发和个人使用定制，生成速度快，内存占用小，在 Apache 2.0 许可下公开提供，支持在 Replicate、fal.ai 和 Comfy UI 等平台使用，且支持用户根据自己数据集微调）。其训练参数高达 120 亿，在图像质量、提示词跟随等多方面超越流行模型，工作原理基于混合架构，结合变换器和扩散技术。 基于阿里云 PAI 平台：可复现 R1 蒸馏及蒸馏训练模型过程。部署 32b 的蒸馏模型展示效果，包括模型部署（如选中模型卡片后的操作、选择 vLLM 部署、涉及竞价系统等）、蒸馏数据获取（在本地 python 环境或 notebook gallery 建立实例执行代码获取蒸馏数据集）等。 DeepSeek：PaaS 平台支持多机分布式部署，满足推理性能要求，能一站式完成模型蒸馏。可登录 Pad 控制台通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价部署，部署后可在模型在线服务 EAS 查看状态。还介绍了模型 API 调用、服务关停、蒸馏概念、应用场景及部署实操等。
2025-04-13
蒸馏和微调分别是什么意思，他们有关联吗
蒸馏和微调是在人工智能领域中常见的概念，它们有一定的区别和联系。 蒸馏是一种模型压缩技术，通过将复杂的大模型的知识和能力“提炼”到较小的模型中，以减少模型的参数和计算量，同时保持一定的性能。 微调则是在已有的预训练模型基础上，使用特定任务的数据对模型进行进一步的训练，以使其在特定任务上表现得更好。 它们的关联在于：都是为了优化模型在特定场景下的性能。不同之处在于，蒸馏侧重于模型压缩，而微调侧重于针对特定任务的适应性训练。 提示词和微调都是提高模型表现的方法，但方式不同。提示词是在使用模型时直接提供特定的指令或上下文，引导模型生成合适的回答，灵活方便，无需重新训练模型。微调则需要对模型进行额外训练，使用特定任务的数据调整模型参数，使其在该任务上表现更佳，但需要时间和计算资源。 微调具有一些优点，如能提高特定任务的性能和效率，适用于强调现有知识、自定义结构或语气、教授复杂指令等，但不适用于添加新知识和快速迭代。成功案例如 Canva 通过微调显著提高了性能。最佳实践包括从提示工程和小样本学习开始、建立基线、从小处着手并注重质量，还可以将微调和 RAG 相结合以获得最佳性能。
2025-02-26
如何进行知识蒸馏
知识蒸馏（Knowledge Distillation）是一种将复杂模型的知识转移到简单模型中的方法。其核心思想是利用预训练好的复杂模型（教师模型）指导较小模型（学生模型）的训练，使学生模型能模仿教师模型的行为，同时保持较小规模和较高效率。 蒸馏的核心在于让学生模型学习教师模型的输出分布，而非仅仅是硬标签（ground truth）。具体而言，教师模型为输入文本生成软标签（soft labels），即概率分布，学生模型通过模仿教师模型的软标签来学习。 目前以 Ollama 上下载的模型为例，最小的有 DeepSeekR1DistillQwen1.5B，最大的有 DeepSeekR1DistillLlama70B，都是来自于 Deepseek R1 671B 的蒸馏，而非官方的 Deepseek 版本。仔细观察模型名称可以看到，Distill 代表“蒸馏”，Qwen 或者 Llama 代表使用的基础模型，一般是千问或者 Llama 。
2025-02-14
知识蒸馏是什么
知识蒸馏是一种模型压缩方法。在训练过程中，大模型作为教师模型，轻量级模型作为学生模型，学生模型不仅学习任务的真实标签，还学习教师模型生成的软标签，从而能够“站在巨人的肩膀上”学习，提高自身性能。例如，NVIDIA 技术博客介绍了通过剪枝和知识蒸馏将 Llama3.1 8B 模型缩减为 Llama3.1Minitron 4B 模型的方法。剪枝通过移除模型中的一些参数来减少计算需求和内存占用，而知识蒸馏让小模型学习大模型的输出。此外，在一些情况下，可能存在无意导致的信息蒸馏现象。
2025-02-07
知识蒸馏
知识蒸馏是一种模型压缩和训练的方法。在训练中，大模型作为教师模型，轻量级模型作为学生模型，学生模型不仅学习任务的真实标签，还学习教师模型生成的软标签，从而能够“站在巨人的肩膀上”学习。例如，NVIDIA 技术博客介绍了通过剪枝和知识蒸馏将 Llama3.1 8B 模型缩减为 Llama3.1Minitron 4B 模型的方法。剪枝通过移除模型中的一些参数来减少计算需求和内存占用，而知识蒸馏让小模型学习大模型的输出以提高性能。轻量级模型基础能力的增强，对未来的 AI 应用生态具有重要意义。同时，使用强化微调技术，轻量级模型能够通过精选数据的训练超越同代大模型的表现，这对垂直领域的模型应用也将产生很大影响。
2025-02-07
什么事大模型的蒸馏
模型蒸馏可以比作教学过程。在大模型中，一个大型专家模型（老师）将其知识传递给一个更小、更紧凑的模型（学生）。其目标是让学生模型学习最重要的技能，而不需要与老师模型相同的庞大资源。 例如，在谷歌 Gemini 模型中，Gemini Nano 是通过模型蒸馏的过程从更大的 Gemini 模型中提炼知识创建而成，能够在智能手机等设备上运行。 在 FLUX.1 模型中，FLUX.1蒸馏而来，具备相似的图像质量和提示词遵循能力，但更高效。
2024-12-06
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14