通过考虑模型和数据的角度，提出了MMICL去解决图像与文本交叉多模态提示的问题，通过无需训练的数据更好地适应用户真实应用中复杂的提示，其中包括多模态上下文与交叉的图像和文本、每个图像的文本参考以及具有空间、逻辑或时间关系的多图像数据。在广泛的视觉-语言任务中，特别是在复杂推理基准测试中，MMICL取得了新的最先进的零样本和少样本性能。同时，对ScienceQA-IMG上的实验表明MMICL成功缓解了视觉-语言模型中的语言偏差问题，我们相信这是MMICL卓越性能背后的原因。

Sep, 2023

通过引入MultiModal In-conteXt Tuning (M$^2$IXT)模块，扩展感知范围来提升多模式语境学习的能力，并通过混合任务策略训练，实现在多个任务和数据集上的快速少样本适应，在模型参数方面显著减小，为多模式语境学习者提供了灵活而有效的解决方案。

Oct, 2023

通过引入pool-adapter模块，保留视觉嵌入的位置信息，我们的InfMLLM方法在图像描述、视觉问题回答和视觉定位等任务中达到了与最新的多模态大语言模型相当或超越的性能。

Nov, 2023

通过对视觉-语言模型的大规模（LLMs）模型进行背景学习（ICL），本研究发现在VLMs中，ICL主要受到演示的文本信息的驱动，视觉信息对ICL性能的影响较小。鉴于该发现，通过分析模型信息流和不同ICL设置下的模型内部状态，我们提出了一个简单而有效的方法MMICES（Mixed Modality In-Context Example Selection），它在选择演示时考虑了视觉和语言两个模态，并显示出更好的ICL性能。通过大量实验证实了我们的发现，对VLMs的ICL性能的理解和改进进行了支持。

Nov, 2023

我们提出了一种新的具有多模态输出功能的视觉理解的上下文学习框架，通过将文本和视觉提示量化和嵌入到统一的表示空间中，并采用仅具有解码器的稀疏Transformer架构在其上执行生成建模。实验结果表明，我们的模型在统一的多模态管线中实现了与专门模型和先前上下文学习基准模型相竞争的性能。总体而言，我们的研究在统一多模态上下文学习方面迈出了进一步的一步。

Dec, 2023

将大型语言模型从文本到多模态进化为多模态大型语言模型(MLLMs)，并扩展了上下文学习 (ICL) 到多模态环境。本研究中提出以T2I-ICL为任务的新的benchmark数据集CoBSAT，通过与六个最先进的MLLMs算法的对比表明了T2I-ICL的困难及其挑战，并探索了fine-tuning和Chain-of-Thought prompting等策略以实现显著改进。

Feb, 2024

该研究介绍了一个全面的多模态上下文学习基准测试VL-ICL Bench，评估了先进的视觉大语言模型在这个基准测试套件上的能力，揭示了它们的各种优势和弱点，并表明即使是最先进的模型，如GPT-4，也会在这些任务中面临挑战。

Mar, 2024

综述了大语言模型与视觉语言模型的最新进展，分析了它们在视觉能力、多模态输入和基准数据集方面的优势和局限性，并提出未来研究的潜在方向。

Feb, 2024

通过对大型多模态模型的多模态ICL的研究，我们发现M-ICL主要依赖于文本驱动机制，几乎不受图像模态的影响。当与高级ICL策略（如RICES）一起使用时，M-ICL并不比基于大多数投票的上下文示例简单策略更好，此外，我们还发现了几种M-ICL的偏见和局限性，值得在部署之前考虑。

Apr, 2024

通过聚合多模态演示的图像信息到相应的语言部分的密集潜在空间，我们提出了一种称为AIM的通用轻量级框架来解决多模态ICL的两个问题。

Jun, 2024