LLama 是 Meta 推出的一系列语言模型。
LLama 具有以下特点和应用:
1. 在法律领域有相关的微调模型,如 Lawyer LLaMA 等,这些模型在大规模法律语料上进行了预训练和指令微调,旨在为法律从业者和用户提供准确可靠的法律咨询服务。
2. 有专门用于编写代码的 Code Llama ,它基于 Llama 2 平台构建,包括多种模型以适应不同需求,其训练配方和模型权重可在 Github 仓库获取。
3. 一共有 4 个模型尺寸,其出发点包括只使用公开数据集以保证数据平等,用更多数据训练更小网络等。网络结构采用 decoderonly 的方式,使用了 SentencePiece 实现的 PBE 编码方式、PreNorm 、SwiGLU 、RoPE 旋转位置编码等技术。同时还介绍了 RMSNorm 等相关技术。
2025-01-02