有哪些大模型？

大型模型主要分为两类：一是大型语言模型，专注于处理和生成文本信息；二是大型多模态模型，这类模型能够处理包括文本、图片、音频等多种类型的信息。[heading1]问题八、大型多模态模型与大型语言模型有何不同？[content]1.二者处理的信息类型不同。大型语言模型专注于处理和生成文本信息，通过分析大量的文本数据来理解和生成自然语言。而大型多模态模型不仅能处理文本信息，还能理解和生成图片、音频等多种类型的信息，这使得它们能够在更多样化的任务中应用。2.应用场景也有所不同。大型语言模型主要用于自然语言处理任务，如文本翻译、文本生成、情感分析等。而大型多模态模型由于能够处理多种信息类型，可以应用于更广泛的领域，例如图像识别与描述、视频分析、语音识别与生成等。3.在数据需求方面也有所不同。大型语言模型主要依赖于大量的文本数据进行训练，而大型多模态模型则需要多种类型的数据进行训练，包括文本、图片、音频等，以便在不同模态间建立关联。[heading1]问题九、有了大模型，是不是还有小模型？[content]当我们谈论所谓的“小模型”时，实际上是在相对地比较。与那些拥有海量参数和训练数据的大型模型相比，这些模型的规模显得更小一些。因此，在日常交流中，我们习惯将它们称作“小模型”。但如果要更精确地描述，这些模型其实是被设计来完成特定任务的，比如最初用于图像分类的模型，只能分辨是或不是某一个东西（比如猫?、狗?）。

[title]大模型入门指南[heading1]什么是大模型数字化的好处是便于计算机处理。但为了让计算机理解Token之间的联系，还需要把Token表示成稠密矩阵向量，这个过程称之为embedding([3])，常见的算法有：基于统计Word2Vec，通过上下文统计信息学习词向量GloVe，基于词共现统计信息学习词向量基于深度网络CNN，使用卷积网络获得图像或文本向量RNN/LSTM，利用序列模型获得文本向量基于神经网络BERT，基于Transformer和掩码语言建模（Masked LM）进行词向量预训练Doc2Vec，使用神经网络获得文本序列的向量以Transform为代表的大模型采用自注意力（Self-attention）机制来学习不同token之间的依赖关系，生成高质量embedding。大模型的“大”，指的是用于表达token之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如GPT-3拥有1750亿参数，其中权重数量达到了这一量级，而词汇表token数只有5万左右。参考：[How does an LLM"parameter"relate to a"weight"in a neural network?](https://datascience.stackexchange.com/questions/120764/how-does-an-llm-parameter-relate-to-a-weight-in-a-neural-network"How does an LLM"parameter"relate to a"weight"in a neural network?")

[title]多模态大模型入门指南-长文慎入【持续更新】[heading2]4.多模态大模型总结：[heading3]4.1 26个多模态大模型全面比较：(8)InstructBLIP基于预训练的BLIP-2模型进行训练，在MM IT期间仅更新Q-Former。通过引入指令感知的视觉特征提取和相应的指令，该模型使得能够提取灵活多样的特征。(9)PandaGPT是一种开创性的通用模型，能够理解6不同模式的指令并根据指令采取行动：文本、图像/视频、音频、热、深度和惯性测量单位。(10)PaLI-X使用混合VL目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。事实证明，这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。(11)Video-LLaMA张引入了多分支跨模式PT框架，使LLMs能够在与人类对话的同时同时处理给定视频的视觉和音频内容。该框架使视觉与语言以及音频与语言保持一致。(12)视频聊天GPT Maaz等人。（2023）是专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。(13)Shikra Chen等人。(2023d)介绍了一种简单且统一的预训练MM-LLM，专为参考对话（涉及图像中区域和对象的讨论的任务）而定制。该模型展示了值得称赞的泛化能力，可以有效处理看不见的设置。(14)DLP提出P-Former来预测理想提示，并在单模态句子数据集上进行训练。这展示了单模态训练增强MM学习的可行性。