Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

全量微调与少量参数微调

Answer

在参数规模的角度，大模型的微调主要分为全量微调（FFT，Full Fine Tuning）和少量参数微调（PEFT，Parameter-Efficient Fine Tuning）两条技术路线。

全量微调是对全量的模型参数进行全量的训练。全量参数微调脚本见：train/sft/finetune.sh，关于全量参数微调的具体实现代码见train/sft/finetune_clm.py。

少量参数微调则只对部分模型参数进行训练。从成本和效果的角度综合考虑，PEFT 是目前业界比较流行的微调方案。OpenAI 官方微调教程：https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb

微调是在较小的、特定领域的数据集上继续 LLM 的训练过程，通过调整模型本身的参数，而不是像提示工程和 RAG 那样仅仅更改提示，来大幅提高模型在特定任务中的性能。把微调想象成把通用工具打磨成精密仪器。

微调有两大好处：

  1. 提高模型在特定任务中的性能。微调意味着可以输入更多的示例。可以在数以百万计的代币上进行微调，而少量学习提示仅限于数以万计的代币。经过微调的模型可能会失去一些通用性，但对于其特定任务而言，应该期待它有更好的表现。
  2. 提高模型效率。LLM 应用程序的效率意味着更低的延迟和更低的成本。实现这一优势有两种方法。通过专门化模型，可以使用更小的模型。此外，由于只对输入输出对进行训练，而不是对完整的提示及其任何提示工程技巧和提示进行训练，因此可以舍弃示例或指令。这可以进一步改善延迟和成本。

在微调中，超参数的选择也很重要。我们选择了适用于一系列用例的默认超参数，唯一需要的参数是训练文件。但调整用于微调的超参数通常可以产生产生更高质量输出的模型。特别是，可能需要配置以下内容：

  1. model：要微调的基本模型的名称。可以选择“ada”、“babbage”、“curie”或“davinci”之一。要了解有关这些模型的更多信息，请参阅模型文档。
  2. n_epochs - 默认为 4。训练模型的时期数。一个纪元指的是训练数据集的一个完整周期。
  3. batch_size - 默认为训练集中示例数量的 0.2%，上限为 256。批量大小是用于训练单个正向和反向传递的训练示例数。总的来说，我们发现更大的批次大小往往更适用于更大的数据集。
  4. learning_rate_multiplier - 默认为 0.05、0.1 或 0.2，具体取决于 final batch_size。微调学习率是用于预训练的原始学习率乘以该乘数。建议使用 0.02 到 0.2 范围内的值进行试验，以查看产生最佳结果的值。根据经验，我们发现较大的学习率通常在较大的批量大小下表现更好。
  5. compute_classification_metrics - 默认为假。如果为 True，为了对分类任务进行微调，在每个 epoch 结束时在验证集上计算特定于分类的指标（准确性、F-1 分数等）。要配置这些额外的超参数，请通过 OpenAI CLI 上的命令行标志传递它们。

LoRA 微调脚本见：train/sft/finetune_lora.sh，关于 LoRA 微调的具体实现代码见train/sft/finetune_clm_lora.py，单机多卡的微调可以通过修改脚本中的--include localhost:0 来实现。基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。通过PEFT加载预训练模型参数和微调模型参数，以下示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。

Content generated by AI large model, please carefully verify (powered by aily)

References

3. 如何让 LLM 应用性能登峰造极

参数规模的角度，大模型的微调分成两条技术路线：全量微调FFT(Full Fine Tuning)：对全量的模型参数，进行全量的训练。PEFT(Parameter-Efficient Fine Tuning)：只对部分模型参数进行训练。从成本和效果的角度综合考虑，PEFT是目前业界比较流行的微调方案。OpenAI官方微调教程：[https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb](https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb)微调是在较小的、特定领域的数据集上继续LLM的训练过程。这可以通过调整模型本身的参数，而不是像提示工程和RAG那样仅仅更改提示，来大幅提高模型在特定任务中的性能。把微调想象成把通用工具打磨成精密仪器。微调有两大好处：提高模型在特定任务中的性能。微调意味着你可以输入更多的示例。您可以在数以百万计的代币上进行微调，而根据上下文的大小，少量学习提示仅限于数以万计的代币。经过微调的模型可能会失去一些通用性，但对于其特定任务而言，您应该期待它有更好的表现。提高模型效率。LLM应用程序的效率意味着更低的延迟和更低的成本。实现这一优势有两种方法。通过专门化模型，您可以使用更小的模型。此外，由于只对输入输出对进行训练，而不是对完整的提示及其任何提示工程技巧和提示进行训练，因此可以舍弃示例或指令。这可以进一步改善延迟和成本。

模型微调

LoRA微调脚本见：[train/sft/finetune_lora.sh](https://github.com/LlamaFamily/Llama-Chinese/blob/main/requirements.txt)，关于LoRA微调的具体实现代码见[train/sft/finetune_clm_lora.py](https://github.com/LlamaFamily/Llama-Chinese/blob/main/train/sft/finetune_clm_lora.py)，单机多卡的微调可以通过修改脚本中的--include localhost:0来实现。[heading6]全量参数微调[content]全量参数微调脚本见：[train/sft/finetune.sh](https://github.com/LlamaFamily/Llama-Chinese/blob/main/train/sft/finetune.sh)，关于全量参数微调的具体实现代码见[train/sft/finetune_clm.py](https://github.com/LlamaFamily/Llama-Chinese/blob/main/train/sft/finetune_clm.py)。[heading5]Step4:加载微调模型[heading6]LoRA微调[content]基于LoRA微调的模型参数见：基于Llama2的中文微调模型，LoRA参数需要和基础模型参数结合使用。通过[PEFT](https://github.com/huggingface/peft)加载预训练模型参数和微调模型参数，以下示例代码中，base_model_name_or_path为预训练模型参数保存路径，finetune_model_path为微调模型参数保存路径。[heading6]全量参数微调[content]对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。

微调（Fine-tuning）

我们选择了适用于一系列用例的默认超参数。唯一需要的参数是训练文件。也就是说，调整用于微调的超参数通常可以产生产生更高质量输出的模型。特别是，您可能需要配置以下内容：model：要微调的基本模型的名称。您可以选择“ada”、“babbage”、“curie”或“davinci”之一。要了解有关这些模型的更多信息，请参阅[模型](https://ywh1bkansf.feishu.cn/wiki/R70MwasSpik2tgkCr7dc9eTmn0o)文档。n_epochs-默认为4。训练模型的时期数。一个纪元指的是训练数据集的一个完整周期。batch_size-默认为训练集中示例数量的0.2%，上限为256。批量大小是用于训练单个正向和反向传递的训练示例数。总的来说，我们发现更大的批次大小往往更适用于更大的数据集。learning_rate_multiplier-默认为0.05、0.1或0.2，具体取决于final batch_size。微调学习率是用于预训练的原始学习率乘以该乘数。我们建议使用0.02到0.2范围内的值进行试验，以查看产生最佳结果的值。根据经验，我们发现较大的学习率通常在较大的批量大小下表现更好。compute_classification_metrics-默认为假。如果为True，为了对分类任务进行微调，在每个epoch结束时在验证集上计算特定于分类的指标（准确性、F-1分数等）。要配置这些额外的超参数，请通过OpenAI CLI上的命令行标志传递它们，例如：

Others are asking
热点的大模型微调蒸馏工具有哪些
以下是一些热点的大模型微调蒸馏工具： FLUX.1：包括 FLUX.1（可商用，为本地开发和个人使用定制，生成速度快，内存占用小，在 Apache 2.0 许可下公开提供，支持在 Replicate、fal.ai 和 Comfy UI 等平台使用，且支持用户根据自己数据集微调）。其训练参数高达 120 亿，在图像质量、提示词跟随等多方面超越流行模型，工作原理基于混合架构，结合变换器和扩散技术。 基于阿里云 PAI 平台：可复现 R1 蒸馏及蒸馏训练模型过程。部署 32b 的蒸馏模型展示效果，包括模型部署（如选中模型卡片后的操作、选择 vLLM 部署、涉及竞价系统等）、蒸馏数据获取（在本地 python 环境或 notebook gallery 建立实例执行代码获取蒸馏数据集）等。 DeepSeek：PaaS 平台支持多机分布式部署，满足推理性能要求，能一站式完成模型蒸馏。可登录 Pad 控制台通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价部署，部署后可在模型在线服务 EAS 查看状态。还介绍了模型 API 调用、服务关停、蒸馏概念、应用场景及部署实操等。
2025-04-13
deepseek v3微调
以下是关于 Deepseek V3 微调的相关信息： 云舒文章总结卡 2.0 提示词全面支持 Deepseek V3，效果媲美 Claude3.7。V3 需要为 0324 更新的版本，DS 官网及 API 已更新，如调用其它平台 API 需要查看 DS 版本号。提示词复制链接：。横版为 1080 x 800 卡片提示词，竖版为 750 x 不限高卡片提示词。 各平台均需下载 html 文件，打开后才能查看真实效果，平台自带预览因兼容性问题无法正常展示效果。Claude 使用平台包括 Claude3.7 官网、API、Cursor，使用时需要下载为 HTML 文件打开查看效果。Deepseek 使用平台包括 Deepseek 官网、API（V3 需要为 0324 更新的版本），Deepseek 需要复制代码到 html 文件里，然后保存进行查看。 关于智能纪要，会带着大家复现模型的蒸馏和微调，并讲解相关知识。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面。 北京时间 00:30 至 08:30 期间，DeepSeek API 价格大幅下调，DeepSeekV3 降至原价的 50%。
2025-04-12
有哪些针对CoT能力的微调工具
以下是一些针对 CoT 能力的微调工具： 1. Selfconsistency CoT：使用手动设计的 Prompt 生成采样一组不同的推理路径，再通过“多数投票”找到推理步骤中“最一致”的路径，使用这条解码路径驱动原始的贪心解码方式来提示 CoT 性能。 2. MMCoT：侧重使用微调方法嵌入 CoT，通过将语言和图像合并在一个包含推理生成与答案推理的两阶段的框架中，使用微调大模型赋予输入多模态 CoT 的能力。 3. GoTInput 方法：通过对 CoT 生成的思维图进行抽取构建三元组，并使用 GNN 将文本、图像与 CoT 统一，从而生成包含 CoT 信息的最终答案。 4. VCoT：解决了一个输出多模态的问题，通过以生成图片的“标题”以及识别核心关注点作为图像生成的启动过程，通过递归的方式填充图像信息，从而实现输出多模态。 此外，在将 DoT 扩展到预训练的扩散语言模型 Plaid 1B 并在更复杂的推理任务上进行评估时，自回归模型和扩散模型在使用 CoT 或 DoT 进行微调时都显示出显著提高的性能。在微调 Plaid 1B 时，也探索了几种替代方案。 在强化学习驱动的合成数据生成与模型优化流程中，也涉及到 CoT 的相关应用和优化，如初始 CoT 生成、CoT 存储等。
2025-04-12
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10
如何做 deepseek 微调
要进行 DeepSeek 微调，以下是一些相关的知识和步骤： 1. 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 2. 本地部署介绍：如果拥有云服务器，可以进行本地部署，了解满血版本地部署的实际情况。 3. 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 4. 平台服务差异：了解 DLC、DSW 和 EAS 等模型部署平台服务的差别。 5. 对于微调的全过程，建议阅读 Unsloth 笔记本和 HuggingFace 的《如何微调开放式 LLMs》，也可以使用《如何在一小时内阅读论文》作为指南。 6. 更加完善的训练说明，可直接阅读官方论文：DeepSeekAI《DeepSeekR1:Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》https://arxiv.org/html/2501.12948
2025-04-08
怎么本地部署ai模型，并进行微调
以下是本地部署 AI 模型并进行微调的主要步骤： 1. 选择合适的部署方式：包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源：确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础：可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练：根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型：将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护：大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 此外，关于本地部署还有以下相关内容： 如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 会带着大家复现模型的蒸馏和微调，并讲解相关知识。 PaaS 平台支持多机分布式部署，满足推理性能要求，使用独占资源和专有网络，能一站式完成模型蒸馏。 登录 Pad 控制台，通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价，部署后可在模型在线服务 EAS 查看状态。 介绍了模型 API 的调用方法，包括查找位置、获取 token 等，强调使用后要及时停止或删除服务以避免持续付费。 总的来说，部署和训练自己的 AI 模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-03-27
全量微调与少量参数微调
在参数规模的角度，大模型的微调分为全量微调（FFT，Full Fine Tuning）和少量参数微调（PEFT，ParameterEfficient Fine Tuning）两条技术路线。 全量微调是对全量的模型参数进行全量的训练。少量参数微调则只对部分模型参数进行训练。从成本和效果的综合考虑，PEFT 是目前业界较流行的微调方案。 微调是在较小的、特定领域的数据集上继续 LLM 的训练过程，通过调整模型本身的参数，而非像提示工程和 RAG 那样仅更改提示，能大幅提高模型在特定任务中的性能。微调有两大好处：一是提高模型在特定任务中的性能，可输入更多示例，经过微调的模型可能会失去一些通用性，但对于特定任务会有更好表现；二是提高模型效率，实现更低的延迟和成本，可通过专门化模型使用更小的模型，且只对输入输出对进行训练，舍弃示例或指令进一步改善延迟和成本。 关于微调的具体实现，LoRA 微调脚本见：。 在微调的超参数方面，选择了适用于一系列用例的默认超参数，唯一需要的参数是训练文件。调整超参数通常可产生更高质量输出的模型，可能需要配置的内容包括：model（要微调的基本模型的名称，可选择“ada”“babbage”“curie”或“davinci”之一）、n_epochs（默认为 4，训练模型的时期数）、batch_size（默认为训练集中示例数量的 0.2%，上限为 256）、learning_rate_multiplier（默认为 0.05、0.1 或 0.2，具体取决于 final batch_size）、compute_classification_metrics（默认为假，若为 True，为对分类任务进行微调，在每个 epoch 结束时在验证集上计算特定于分类的指标）。要配置这些额外的超参数，可通过 OpenAI CLI 上的命令行标志传递。 OpenAI 官方微调教程：
2025-01-06
高效微调技术-LoRA 全量微调与少量参数微调
以下是关于高效微调技术 LoRA 全量微调与少量参数微调的相关信息： LoRA 微调： 微调脚本： 脚本见： 具体实现代码见： 单机多卡的微调可以通过修改脚本中的include localhost:0来实现。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。 通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 全量参数微调： 微调脚本： 脚本见： 具体实现代码见： 加载微调模型： 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，关于微调还有以下补充信息： 微调模型意味着改变模型的权重，现在微调变得越来越容易，因为开发了许多技术并建立了代码库。 像 LoRA 这样的参数高效微调技术只训练模型的小部分稀疏片段，模型大部分保持基础模型状态，效果好且成本低。 微调技术上更为复杂，需要更多技术专业知识，包括人工数据合同承包商的数据集和复杂的合成数据流程，会减慢迭代周期。 SFT（有监督的微调）相对简单明了，RLHF（基于人类反馈的强化学习）则是非常研究性的领域，难度大，不适合初学者。 目前除了传统的全量训练和 freeze 冻结某些层方式，还发展出了很多种高效的微调方法，如 LoRA、Prefix Tuning、PTuning、Prompt Tuning、AdaLoRA、3、MultiTask Prompt Tuning 等。本篇主要采用 LoRA 方式，主要思路是训练一个参数量较小的分支，然后再与底模合并，从而在模型中注入新的知识。
2025-01-06
2025年人工智能大模型的技术提升有哪些，是参数？推理能力？还是语料
2025 年人工智能大模型的技术提升可能体现在以下几个方面： 1. 视频生成能力：如 2024 年推出的多个先进的 AI 模型能够从文本输入生成高质量视频，相比 2023 年有显著进步。 2. 模型规模与性能：更小的模型能驱动更强的性能，如 2022 年最小能在 MMLU 上得分高于 60%的模型是具有 5400 亿参数的 PaLM，到 2024 年，参数仅 38 亿的微软 Phi3mini 也能达到相同阈值。 3. 推理能力：尽管加入了如思维链推理等机制显著提升了大语言模型的性能，但在一些需要逻辑推理的问题上，如算术和规划，尤其在超出训练范围的实例上，这些系统仍存在问题。 4. AI 代理：在短时间预算设置下，顶级 AI 系统得分高于人类专家，但随着时间预算增加，人类表现会超过 AI。 5. 算法变革：如 DeepSeek 的出现标志着算力效率拐点显现，其通过优化算法架构显著提升了算力利用效率，同时 2025 年发布的大模型呈现低参数量特征，为本地化部署到 AI 终端运行提供了可能，其训练过程聚焦于强化学习，提升了模型的推理能力。
2025-04-14
大模型的temperature参数是什么
大模型中的 temperature 参数用于控制模型输出的随机性。具体来说： 当 temperature 参数值较小时，模型会返回更确定的结果。 调高 temperature 参数值，模型可能会返回更随机的结果，带来更多样化或更具创造性的产出。 在实际应用中，对于质量保障（QA）等任务，可设置更低的 temperature 值，促使模型基于事实返回更真实和简洁的结果。 对于诗歌生成或其他创造性任务，可以适当调高 temperature 参数值。 同时，一般建议在调整参数时，改变 Temperature 和 Top P 其中一个参数就行，不用两个都调整。
2025-04-09
怎么搭建扣子智能体提取抖音文案并进行改写用到哪些插件，并给我配置参数与步骤图
以下是搭建扣子智能体提取抖音文案并进行改写所需的插件、配置参数及步骤： 1. 插件搭建： 点击个人空间，选择插件，点击创建插件。 插件名称：使用中文，根据需求起名。 插件描述：说明插件的用途和使用方法。 插件工具创建方式：选择云侧插件基于已有服务创建，填入所使用 API 的 URL。 在新的界面点击创建工具，填写工具的基本信息，如工具名称（只能使用字母、数字和下划线）、工具描述、工具路径（以“/”开始，若使用 path 方式传参，用“{}”包裹变量）、请求方法等，结束后点击保存并继续。 2. 配置输入参数： 点击新增参数，填写所有需要使用的参数，保存并继续。 3. 配置输出参数： 如果一切填写正确，可直接点击自动解析，会自动调用一次 API 给出对应的输出参数。 填入汉字“张”，点击自动解析。 解析成功后显示解析成功，可看到输出参数已填好，然后点击保存并继续。 4. 调试与校验： 测试工具是否能正常运行。 运行后查看输出结果，Request 为输入的传参，Response 为返回值，点击 Response 可看到解析后的参数。 此外，安仔使用 Coze 免费创建 24 小时英语陪练的步骤包括： 1. 打开扣子首页，点击左上角创建 AI Bot 按钮。 2. 在弹窗输入 Bot 相关信息。 3. 设计人设与回复逻辑，根据功能需求设计提示词。 4. 调整模型设置，如改为 20 轮对话记录。 5. 选择使用插件，如英文名言警句、Simple OCR 等。 6. 设置开场白和预置问题。 7. 设置语音，选择亲切的英语音色。
2025-03-18
可以给出国内出名的大语言模型的信息吗，包括其模型名称，版本，发布时间，发布公司，模型参数，性能特点等信息，尽可能覆盖更多的大模型，使用表格输出，并按照发布时间排序
|模型名称|版本|发布时间|发布公司|模型参数|性能特点|适合应用| |||||||| |Baichuan213BChat|Baichuan2192K|10月31日|百川智能|未提及|在逻辑推理、知识百科、生成与创作、上下文对话等基础能力上排名200亿参数量级国内模型第一，在计算和代码能力上有一定优化空间|场景相对广泛且可以私有化部署，重点推荐在小说/广告/公文写作等内容创作场景、智能客服/语音助手以及任务拆解规划等场景，可部署在教育、医疗、金融等垂直行业中应用，同时可部署在低算力终端处理基础智能任务| |文心一言|V4.0|10月17日|百度|未提及|在计算、逻辑推理、生成与创作、传统安全这4大基础能力上排名国内第一，在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三，各项能力表现均衡且绝大部分能力有很高的水平|能力栈较为广泛，可应用的场景较多，重点推荐在查询搜索知识应用、任务拆解规划Agent、文案写作以及代码编写及纠错等方面的应用，由于在逻辑推理方面的不俗表现，可以重点关注在科学研究、教育、工业方面的落地能力| |通义千问 2.0|2.0|10月31日|阿里云|千亿级参数|未提及|未提及|
2025-03-15
token与参数的关系
Token 与参数存在密切关系。在大模型中，用于表达 token 之间关系的参数众多，主要指模型中的权重（weight）与偏置（bias）。例如，GPT3 拥有 1750 亿参数，而词汇表 token 数相对较少，只有 5 万左右。 目前使用的大模型存在 token 限制，如 Claude2100k 模型的上下文上限是 100k Tokens（100000 个 token），ChatGPT16k 模型的上下文上限是 16k Tokens（16000 个 token），ChatGPT432k 模型的上下文上限是 32k Tokens（32000 个 token）。这种 token 限制同时对一次性输入和一次对话的总体上下文长度生效，当达到上限时不是停止对话，而是遗忘最前面的对话。 在分词过程中，不同的字符串会被编码为不同的 token，例如字符串“Tokenization”编码到 token30642 及其后的 token1634，token“is”（包括前面的空格）是 318 等。数字的分解可能不一致，如 127 是由 3 个字符组成的 token，677 是 2 个 token 等。 为了让计算机理解 Token 之间的联系，需要把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法包括基于统计的 Word2Vec、GloVe 等，基于深度网络的 CNN、RNN/LSTM 等，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。
2025-03-06
ai大模型有哪些常用参数
以下是关于 AI 大模型常用参数的相关内容： 1. 架构方面： Encoderonly：适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT。 Encoderdecoder：结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容，用例包括翻译和摘要，代表是谷歌的 T5。 Decoderonly：更擅长自然语言生成任务，众多 AI 助手采用此结构，如 ChatGPT。 2. 规模方面： 预训练数据量大，往往来自互联网上的论文、代码、公开网页等，一般用 TB 级别数据进行预训练。 参数众多，如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。参数指的是神经网络的输入权重和输出阈值的总和。假定一个神经元有 9 个输入权重和 1 个输出阈值，就有 10 个参数。当有 100 亿个这样的神经元时，就形成千亿级参数的大模型。 3. 模型部署方面： 在 LLM 中，Token 是输入的基本单元。由于大模型参数多，如 GPT2 有 1.5B 参数，每个参数用 float32 表示需 6GB 内存，更先进的模型如 LLAMA 有 65B 参数则需 260G 内存（还不考虑词汇表）。因此实际部署时会进行模型压缩。 在训练 LLM 中，CPU 与内存之间的传输速度往往是系统瓶颈，核心数反而不是大问题，减小内存使用是首要优化点。使用内存占用更小的数据类型是直接方式，如 16 位浮点数可将内存使用减倍。目前有几种相互竞争的 16 位标准，英伟达在其最新一代硬件中引入了对 bfloat16 的支持。
2025-03-03
科学问题二：XXX（小标题） 问题挑战：如何通过构建合理的先验知识或模型假设，刻画出数据中的可变性？如何利用从少量样本中提取到的变化信息来预测未见数据的表现？ XXX XXX（问题挑战一的方法） XXX）问题挑战二的方法） 请将XXX补充完整，重点在预测，如何刻画和利用数据分布的“变化性”
以下是为您补充完整的内容： 对于如何通过构建合理的先验知识或模型假设，刻画出数据中的可变性，以及如何利用从少量样本中提取到的变化信息来预测未见数据的表现，我们可以参考以下方法： 在准备 LLM 数据方面，对于制作 LLM 微调数据集，首先获取文本格式非结构式和网络式结构式的数据。对于 QA 数据集，主要依靠已有的大语言模型生成，根据不同文本设定不同的提示词以获取尽可能多且信息量丰富的 QA。先对文件中的文本进行切割，将每一大部分放进一个约 200 字的 txt 文件里，然后设定提示词模板。例如对于公司产品手册，模板可以是：“你是一个聪明的 xxx 公司的 xxx 产品的产品经理。给你一段 xxxxx 有限公司 xx 产品相关的文本，你必须依据文本想出十个不同的问题和这十个问题对应的答案。你想出的问题可以被用来测试公司内部 xxx 职员的专业能力。你想出的问题可以是使用公司产品的用户会想到的问题。你想出的问题和答案必须和所给文本相关。你回答得答案必须可以让使用产品的用户理解。当你想出问题和答案后，你必须用以下格式回复：```
2024-10-21