以下是一些关于大模型的前沿论文:
2017 年发布的《Attention Is All You Need》,开启了大模型发展的序幕。
2018 年 Google 提出的 BERT(Bidirectional Encoder Representations from Transformers),创新性地采用双向预训练并行获取上下文语义信息及掩码语言建模,参数规模在 110M 到 340M 之间。
2018 年 OpenAI 提出的 GPT(Generative Pretrained Transformer),开创了仅使用自回归语言建模作为预训练目标的方式,参数规模达 1750 亿。
2021 年 Meta 提出的 Large LAnguage Model Approach(LLAMA),是首个开源模型,为构建更大规模、更通用的语言模型提供了方法与工具,参数规模在十亿到千亿之间。
2024 年苹果公布的《MM1:Methods,Analysis & Insights from Multimodal LLM Pretraining》,这是一个具有高达 30B 参数的多模态 LLM 系列,探讨了不同架构组件和数据选择的重要性。
2024-11-15