大模型中的参数主要指模型中的权重(weight)与偏置(bias)。例如,GPT3 拥有 1750 亿参数,其中权重数量达到了这一量级,而词汇表 token 数只有 5 万左右。在 LLM 中,由于模型参数非常多,如 GPT2 有 1.5B 参数,每个参数用 float32 表示,所需内存大小为 4 bytes1,500,000,000 = 6GB,更先进的模型如 LLAMA 有 65B 参数,所需内存就需要 260G(这还是在不考虑词汇表的情况下)。因此在进行模型实际部署时,会进行模型的压缩。
2025-03-03