轻量级上下文调整的多模态统一模型

Oct, 2023

轻量级上下文调整的多模态统一模型

Lightweight In-Context Tuning for Multimodal Unified Models

Yixin Chen, Shuai Zhang, Boran Han, Jiaya Jia

TL;DR通过引入 MultiModal In-conteXt Tuning (M$^2$IXT) 模块，扩展感知范围来提升多模式语境学习的能力，并通过混合任务策略训练，实现在多个任务和数据集上的快速少样本适应，在模型参数方面显著减小，为多模式语境学习者提供了灵活而有效的解决方案。

Abstract

in-context learning (ICL) involves reasoning from given contextual examples. As more modalities comes, this procedure is becoming more challenging as the interleaved input modalities convolutes the understanding process. This is exemplified by the observation that →

in-context learning multimodal models multimodal in-context tuning few-shot adaption multimodal in-context learner

发现论文，激发创造

多标签文本分类的上下文学习

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

增强上下文学习的事实知识

通过注入事实知识、选择高相关性示例，并基于先前知识校准预测结果，提出了一种称为 KICT 的知识内外训练框架，以进一步改善 In-Context Learning (ICL) 的性能。在多个文本分类和问题回答任务上的实验证明，KICT 明显优于强基线模型，分别在文本分类和问题回答任务上的准确性提高了超过 13％和 7％。

Sep, 2023

理解和优化视觉 - 语言模型中的上下文学习

通过对视觉 - 语言模型的大规模（LLMs）模型进行背景学习（ICL），本研究发现在 VLMs 中，ICL 主要受到演示的文本信息的驱动，视觉信息对 ICL 性能的影响较小。鉴于该发现，通过分析模型信息流和不同 ICL 设置下的模型内部状态，我们提出了一个简单而有效的方法 MMICES（Mixed Modality In-Context Example Selection），它在选择演示时考虑了视觉和语言两个模态，并显示出更好的 ICL 性能。通过大量实验证实了我们的发现，对 VLMs 的 ICL 性能的理解和改进进行了支持。

Nov, 2023

上下文学习如何帮助提示调整？

该研究通过实验测量了几种不同的文本生成任务原始模型的表现，对比分析了几种参数有效的适应方法（如提示调整、上下文学习和指导性提示调整），并通过 IPT 探究了这些方法之间的交互作用和优缺点。

Feb, 2023

用于近似无偏上下文学习的精调语言模型

引入了一种重新加权的算法 RICL（Reweighted In-context Learning），并提出了一种低成本重新加权算法 LARICL（Linear Approximation of Reweighted In-context Learning），这些算法通过有效地优化输入提示来改善大语言模型（LLMs）的性能。

Oct, 2023

多语言 LLM 通过对齐更好地进行跨语言上下文学习

本研究分析了在跨语言文本分类中使用 in-context learning 的问题，并提出了一种称为 Cross-lingual In-context Source-Target Alignment (X-InSTA) 的 prompt 构建策略，该策略在 44 个不同的跨语言数据集上表现出了很好的性能。

May, 2023

超越任务性能：通过上下文学习评估和减少大型多模态模型的缺陷

基于 Flamingo 架构的 8 个近期开源 LMMs 在 5 个不同的维度中评估了他们的缺陷，并研究了在上下文学习 (ICL) 方面的解决方案，提出了 Multitask-ICL、Chain-of-Hindsight-ICL 和 Self-Correcting-ICL 等新的多模态 ICL 方法。

Oct, 2023

MMHQA-ICL: 文本、表格与图像的混合问答的多模态上下文学习

多模态问题回答（MMHQA）是一个具有挑战性的任务，我们提出了一个 MMHQA-ICL 框架，包括强大的异构数据检索器和图像描述模块，并首次使用了端到端 LLM 提示方法。实验结果表明，我们的框架在多模态问题回答上表现出色，优于所有基准线和使用完整数据集训练的方法，达到了多模态 QA 数据集在少样本设置下的最新成果。

Sep, 2023

迭代前向调整促进语言模型内部学习

本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。

May, 2023

多模式 LLMs 的链接上下文学习

基于多模式大型语言模型和大型语言模型，提出了一种新颖的上下文学习方法（In-Context Learning），通过加强因果关系，引导模型识别类比和数据点间的潜在因果关联，使模型能够识别未见过的图像和理解新概念更有效。

Aug, 2023