知識ベースとの対話

以下是关于 LLMs 文本与图像混合模态训练的相关内容：多模态大模型总结： 1. InstructBLIP 基于预训练的 BLIP2 模型进行训练，在 MM IT 期间仅更新 QFormer。通过引入指令感知的视觉特征提取和相应的指令，能够提取灵活多样的特征。 2. PandaGPT 是一种开创性的通用模型，能够理解 6 种不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 3. PaLIX 使用混合 VL 目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。 4. VideoLLaMA 引入了多分支跨模式 PT 框架，使 LLMs 能够在与人类对话的同时处理给定视频的视觉和音频内容，使视觉与语言以及音频与语言保持一致。 5. 视频聊天 GPT 是专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。 6. Shikra Chen 等人介绍了一种简单且统一的预训练 MMLLM，专为参考对话（涉及图像中区域和对象的讨论的任务）而定制，展示了值得称赞的泛化能力，可以有效处理看不见的设置。 7. DLP 提出 PFormer 来预测理想提示，并在单模态句子数据集上进行训练，展示了单模态训练增强 MM 学习的可行性。未来发展方向：最初，多模态融合方法常采用预训练的目标检测器，如 ViLBERT、VisualBERT 和 UnicoderVL，通过提取图像特征和执行交叉模态预训练任务，为后续的图像文本任务奠定基础。随着 ViT 的出现和普及，更多方法开始利用 ViT 作为图像编码器，强调大规模预训练，以提高模型的性能和泛化能力，例如 Flamingo。近期，向多模态 LLMs 的发展趋势是从进行预训练到向指令调整（instruction tuning）转变，例如 LLaVA 和 MiniGPT4，它们通过融合视觉和语言信息，能够更有效地完成视觉理解相关的任务，进一步提升模型对于指令的理解能力，提升零样本性能，使模型能够更好地泛化到未见过的任务和领域。训练过程： 1. 预训练阶段：通常利用 XText 的数据集来训练输入、输出的 Projector，通过优化损失函数来实现不同模态的对齐，PEFT 有时候用于 LLM Backbone。XText 数据集包含图像文本、视频文本和音频文本，其中图像文本有两种类型：图像文本对和交错图像文本语料库。 2. 多模态微调：是对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调，MMLLM 可以遵循新的指令泛化到没有见过的任务，增强 zeroshot 的能力。MM IT 包括监督微调（SFT）和 RLHF 两部分，目的是为了使得模型符合人类的意图或者偏好，并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令aware 的格式，使用 QA 任务作为例子，可采用各种模板。优化目标和预训练相同，SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。