多模态大型语言模型的样本外广义推广

Feb, 2024

多模态大型语言模型的样本外广义推广

On the Out-Of-Distribution Generalization of Multimodal Large Language Models

Xingxuan Zhang, Jiansheng Li, Wenjing Chu, Junjia Hai, Renzhe Xu...

TL;DR通过广泛的评估工作，我们研究了当前多模态大型语言模型在超出分布情景和特定领域任务下的泛化边界。实证结果表明，多模态大型语言模型在常见训练域之外的泛化上存在困难，需要经过适应性的直接应用。我们进一步探索了上下文学习在分布偏移下的鲁棒性，并展示了它在领域偏移、标签偏移和上下文示例与测试数据之间的虚假相关偏移中的脆弱性。

Abstract

We investigate the generalization boundaries of current Multimodal Large Language Models (MLLMs) via comprehensive evaluation under out-of-distribution scenarios and domain-specific tasks. We evaluate their zero-shot ge

multimodal large language models generalization boundaries zero-shot generalization mapping deficiency in-context learning

发现论文，激发创造

主题、领域和语言变化的桥梁：综合离域场景的评估

在真实世界中，语言模型在超出分布范围的场景中的泛化能力变得更低，基于提示的微调方法在语义差异较大的任务中表现更好，而基于梯度的学习存在结构障碍的偏差问题。

Sep, 2023

面向视觉与语言模型的多模态上下文学习

通过对一些最先进的 VLM（Visual Language Model）进行分析，我们发现它们在执行 ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的 VLM 对齐框架，实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了 21.03% 的 ICL 表现（平均 11.3%），超过了最强 VLM 基线和多种 ICL 基准，并为 VLM 的 ICL 评估贡献了新的基准，并讨论了它们相对于现有技术的优势。

Mar, 2024

适应分布偏移的大规模多模态模型：内文学习的作用

本文研究了在特定领域如医疗保健中，大型多模态模型（LMMs）虽然具有高鲁棒性，但仍需要领域特定的适应性，因此提出了一种有效的解决方案 —— 上下文学习（ICL）。通过评估无监督的 ICL 方法和提出的基于类别条件对比不变性（CCI）的 InvariantSelectPR 方法，在面对分布转移场景下，改进了 LMMs 的适应能力，显著提高了性能。

May, 2024

ZeroDL：基于大型语言模型的零样本分布学习文本聚类

我们提出了一种简单但有效的方法来将任务上下文化为特定的大语言模型，通过观察给定的大语言模型如何描述目标数据集，聚合大语言模型的开放式推理结果，并最终将聚合的元信息纳入实际任务中，我们展示了这种方法在文本聚类任务中的有效性，并通过上述过程的示例突出了上下文化的重要性。

Jun, 2024

多模式大型语言模型综述

本文旨在追踪和总结 MLLM 的最新进展，包括 MLLM 的公式，技术和应用，以及现有的挑战和有前途的研究方向。

Jun, 2023

多模态语言模型的性能评估

该研究分析了不同的多模态指导调优方法，并评估了它们在复杂推理、对话、图像字幕、多项选择题和二元分类等任务中的性能，揭示了在将多模态能力融入大型语言模型时的架构选择的关键见解，但当前方法存在局限性，未能充分解决丰富多样的多模态指导数据集的需求和生成响应的真实性和事实性问题，这些发现阐明了适应图像理解的语言模型的现有方法学限制，并为寻求利用多模态版本的大型语言模型的研究人员和实践者提供了有价值的指导。

Oct, 2023

背景下的学习表现具有普适性，但并非始终稳定：以语法为例

在本研究中，我们通过对语法敏感性的测试案例来研究通过上下文学习监督的大型语言模型的鲁棒性，并调查模型的预训练语料库组成和监督方法对模型变异性的影响。我们发现，相较于模型大小，模型在这一基本语言现象上的变异性更多地受到预训练语料库组成和监督方法的影响。同时，我们还发现，在代码上进行预训练的模型更好地推广，并在更大程度上受到思维链提示的益处。

Nov, 2023

超越任务性能：通过上下文学习评估和减少大型多模态模型的缺陷

基于 Flamingo 架构的 8 个近期开源 LMMs 在 5 个不同的维度中评估了他们的缺陷，并研究了在上下文学习 (ICL) 方面的解决方案，提出了 Multitask-ICL、Chain-of-Hindsight-ICL 和 Self-Correcting-ICL 等新的多模态 ICL 方法。

Oct, 2023

有监督的知识提升大语言模型在上下文学习中的表现

通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

Dec, 2023

让任何多模态大型语言模型都能高效地进行上下文学习

通过聚合多模态演示的图像信息到相应的语言部分的密集潜在空间，我们提出了一种称为 AIM 的通用轻量级框架来解决多模态 ICL 的两个问题。

Jun, 2024