以下是一些热点的大模型微调蒸馏工具：
FLUX.1[dev]是开源模型，不可商用，直接从FLUX.1[pro]蒸馏而来，具备相似的图像质量和提示词遵循能力，但更高效。它在HuggingFace上提供，可以在Replicate或fal.ai等平台上试用。FLUX.1[schnell]是开源模型，可商用，专门为本地开发和个人使用量身定制，生成速度最快，内存占用也最小。它在Apache 2.0许可下公开提供，适合快速原型制作和个人项目。FLUX.1的训练参数高达120亿，远超SD3 Medium的20亿。它在图像质量、提示词跟随、尺寸适应、排版和输出多样性等方面超越了Midjourney v6.0、DALL·E 3(HD)和SD3-Ultra等流行模型，定义了新的图像合成的最先进水平。FLUX.1 AI的工作原理基于混合架构，结合了变换器和扩散技术，能够根据文本提示生成准确的图像。它采用尖端技术，如流匹配和优化，以生成高质量图像。FLUX.1 AI的关键特性包括尖端性能、文本处理能力、复杂构图能力和改进的人手生成。它支持在Replicate、fal.ai和Comfy UI等平台上使用，并且有明确的定价详情和使用限制。此外，FLUX.1 AI支持用户根据自己的数据集进行微调，以生成特定风格或主题的图像。本文我们尝试分别在没有N卡，不使用类似Comfy UI这样复杂的工作流搭建工具上使用Mac Mini M1上运行FLUX.1[schnell]。然后我们尝试在边缘设备Raspberry PI5B上看看是否可行，最后我们使用dify+CoW项目在微信上搭建一个通过微信发送提示词来画图的应用实例。[heading3]
代码不是本文的重点,也不重要.本文的思路大家都能听懂,跟着学习思路就能理解R1的蒸馏是怎么回事了.相信我,我做到了,你完全可以跟着做到.[heading1]模型部署[content]1.模型部署为了便宜,咱们部署32b的蒸馏模型来展示同样的效果:选中模型卡片以后,就会出现部署按钮.选择vLLM部署小插曲:竞价系统(用更便宜的价格部署模型)1.部署完成后在EAS服务中可以找到API的endpoint和key信息同样也是在EAS服务中可以查看部署情况和日志,如果竞价获得不了资源,可以适当调整价格在EAS服务中可以直接尝试试用模型:调试方法:Get models方法:需要用vllm框架部署才能支持:chat方法:比如7b的蒸馏模型就换成这样的就可以了.尝试部署一个qwen2.5-7b-instruct的原生模型,并看看它的回答方式,并且测试问题“9.11和9.9的大小?”[heading1]蒸馏->数据[content]在咱们本地的python环境中,或者notebook gallery里建立一个实例来执行python.代码不重要,重要的是思路!完全可以直接用百炼/PAI的工作流,嵌套大模型的方式,一行代码都没有来执行实现.执行这段代码:咱们最终会获得一个一个json文件,就是蒸馏出来的数据集了.通常这里都需要检查下数据的正确性,才进行下一步的训练微调过程.
AI模型的云端部署与试用PaaS平台特性：PaaS平台支持多机分布式部署，满足推理性能要求，使用独占资源和专有网络，能一站式完成模型蒸馏。模型价格差异：简单应用开发平台交付产品价格在千元、万元或几十万元级别，为公司打造专有模型价格更高。云端部署操作：登录Pad控制台，通过model gallery进行部署，如Deepseek R1模型，可选择SG浪或Vim推理框架，根据资源出价，部署后可在模型在线服务EAS查看状态。模型试用方法：使用postman，通过修改接口和复制文档中的内容进行在线调试，发送请求查看状态码，根据模型名称和相关要求输入内容进行试用。作业布置：部署成功一个大语言模型，通过调试证明成功，在调试内容中带上钉钉昵称向模型对话，将成功结果提交问卷可获得阿里云小礼包。模型蒸馏及相关部署操作API调用与服务关停：介绍了模型API的调用方法，包括查找位置、获取token等，强调使用后要及时停止或删除服务以避免持续付费。模型蒸馏概念：教师模型将知识蒸馏给学生模型，有多种蒸馏方式，如R1通过蒸馏数据集并用于学生模型微调。蒸馏应用场景：包括车机等算力有限场景，能让小模型在特定领域有良好效果，还能实现低成本高速推理和修复模型幻觉。模型部署实操：在model gallery中选择模型，如1000问7B指令模型，进行部署，选择VIM加速和竞价模式，查看部署状态和日志。