以下是一些知名的视频大模型：
InstructBLIP：基于预训练的 BLIP2 模型进行训练，在 MM IT 期间仅更新 QFormer。通过引入指令感知的视觉特征提取和相应的指令，能够提取灵活多样的特征。
PandaGPT：是一种开创性的通用模型，能够理解不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。
PaLIX：使用混合 VL 目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成，对于下游任务结果和在微调设置中实现帕累托前沿有效。
VideoLLaMA：引入了多分支跨模式 PT 框架，使 LLM 能够在与人类对话的同时处理给定视频的视觉和音频内容，使视觉与语言以及音频与语言保持一致。
视频聊天 GPT：专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。
Shikra：Chen 等人介绍的一种简单且统一的预训练 MMLLM，专为参考对话（涉及图像中区域和对象的讨论的任务）而定制，展示了值得称赞的泛化能力，可以有效处理看不见的设置。
DLP：提出 PFormer 来预测理想提示，并在单模态句子数据集上进行训练，展示了单模态训练增强 MM 学习的可行性。
可灵：快手于 2024 年 6 月 6 日发布的视频大模型，能生成超过 120 秒 1080P 视频，模拟真实物理特性，准确建模复杂运动场景，画面连贯，动作流畅，细节真实，支持用户输入控制信息，丰富内容控制能力，采用类 Sora 的 DiT 结构，用 Transformer 代替卷积网络，自研 3D VAE 网络提升视频重建质量。
Flamingo：代表了一系列视觉语言模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。
BLIP2：引入了资源效率更高的框架，包括用于弥补模态差距的轻量级 QFormer，实现对冻结 LLM 的充分利用，利用 LLM 可以使用自然语言提示进行零样本图像到文本的生成。
LLaVA：率先将 IT 技术应用到 MM 领域，为解决数据稀缺问题，引入了使用 ChatGPT/GPT4 创建的新型开源 MM 指令跟踪数据集以及 MM 指令跟踪基准 LLaVABench。
MiniGPT4：提出了一种简化的方法，仅训练一个线性层即可将预训练的视觉编码器与 LLM 对齐，能够复制 GPT4 所展示的功能。
mPLUGOwl：提出了一种新颖的 MMLLMs 模块化训练框架，结合了视觉上下文，包含一个名为 OwlEval 的教学评估数据集。
XLLM：陈等人扩展到包括音频在内的各种模式，并表现出强大的可扩展性。利用 QFormer 的语言可迁移性，成功应用于汉藏语境。
VideoChat：开创了一种高效的以聊天为中心的 MMLLM 用于视频理解对话，为该领域的未来研究制定标准，并为学术界和工业界提供协议。
2024-10-21