May, 2024

适应分布偏移的大规模多模态模型：内文学习的作用

PDF
TL;DR本文研究了在特定领域如医疗保健中，大型多模态模型（LMMs）虽然具有高鲁棒性，但仍需要领域特定的适应性，因此提出了一种有效的解决方案 —— 上下文学习（ICL）。通过评估无监督的 ICL 方法和提出的基于类别条件对比不变性（CCI）的 InvariantSelectPR 方法，在面对分布转移场景下，改进了 LMMs 的适应能力，显著提高了性能。
multimodal modelsin-context learningdistribution shiftvision encodersadaptability
发现论文，激发创造
  • 基于核回归的大语言模型上下文学习解析

    通过研究大型语言模型，本文提出 Large language models 可以在面对语境示例时模拟核回归算法，并证明了在 Context prompts 上的贝叶斯推理可以被当作大样本上的核回归，并通过实证研究发现，LLMs 中的注意力和隐藏特征与核回归的行为相匹配，这些为 ICL 领域中观察到的多种现象提供了见解。

    May, 2023

  • 面向视觉与语言模型的多模态上下文学习

    通过对一些最先进的 VLM（Visual Language Model）进行分析，我们发现它们在执行 ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的 VLM 对齐框架，实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了 21.03% 的 ICL 表现（平均 11.3%），超过了最强 VLM 基线和多种 ICL 基准，并为 VLM 的 ICL 评估贡献了新的基准，并讨论了它们相对于现有技术的优势。

    Mar, 2024

  • 由标签分布指导的上下文示例排序

    通过优化问题，研究通过预训练语言模型的上下文学习中的示例排序，以提高文本分类的准确性和选择更好的上下文示例。

    Feb, 2024

  • 多标签文本分类的上下文学习

    利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

    Sep, 2023

  • 多模式 LLMs 的链接上下文学习

    基于多模式大型语言模型和大型语言模型，提出了一种新颖的上下文学习方法（In-Context Learning），通过加强因果关系，引导模型识别类比和数据点间的潜在因果关联，使模型能够识别未见过的图像和理解新概念更有效。

    Aug, 2023

  • ParaICL: 面向鲁棒的并行上下文学习

    通过并行处理不同批次的样本，依据语义相似性在上下文学习中同时使用所有示范样本，并通过加权平均语义目标选择最合适的标记，从而提高 ICL 的有效性。

    Mar, 2024

  • 局部差分私有化上下文学习

    基于预训练语言模型和隐私保护的局部差分隐私框架中的语境学习（ICL）的分析研究

    May, 2024

  • VL-ICL Bench: 基于多模态上下文学习的基准测试中的细节之魔鬼

    该研究介绍了一个全面的多模态上下文学习基准测试 VL-ICL Bench，评估了先进的视觉大语言模型在这个基准测试套件上的能力，揭示了它们的各种优势和弱点，并表明即使是最先进的模型，如 GPT-4，也会在这些任务中面临挑战。

    Mar, 2024

  • 多模态上下文学习的关键是什么？

    通过对大型多模态模型的多模态 ICL 的研究，我们发现 M-ICL 主要依赖于文本驱动机制，几乎不受图像模态的影响。当与高级 ICL 策略（如 RICES）一起使用时，M-ICL 并不比基于大多数投票的上下文示例简单策略更好，此外，我们还发现了几种 M-ICL 的偏见和局限性，值得在部署之前考虑。

    Apr, 2024

  • 具有大型语言模型的语境中感知歧义学习

    通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

    Sep, 2023