上下文对齐能走多远?探索上下文对齐的现状
利用预训练的密集检索模型,我们在有限样本设置中的常见意图分类数据集上,以及特定情况下的细粒度情感分类中,优于微调性能。通过多个实验,我们分析了模型对于上下文示例和不同模型规模的利用情况,并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。
Sep, 2023
通过对长文本 LLMs 进行多个 in-context 学习示例的贪婪选择,我们改进了 ICL 与 URIAL 的对齐效果,但仍未消除与指令微调之间的差距,进一步的削减研究揭示了 ICL 在指令调整的环境中的特殊性,从而推进了对 ICL 作为对齐技术的理解。
May, 2024
通过提供少量上下文演示数据,不需要微调,我们发现大型语言模型可以被操纵以增加或减少越狱的概率。我们提出了越狱攻击和守护方法,通过恶意上下文引导模型生成有害输出,并通过拒绝回答有害提示的演示来增强模型的鲁棒性。我们的实验表明,越狱攻击和守护方法在增加或减少敌对越狱攻击成功率方面是有效的,这为影响大型语言模型行为并提高其安全性和对齐性提供了新的视角。
Oct, 2023
通过对一些最先进的 VLM(Visual Language Model)进行分析,我们发现它们在执行 ICL(In-Context Learning)指令时存在一定的不足。为了验证这个猜想,我们提出了一种简单但令人惊讶地有效的策略,通过扩展一个常见的 VLM 对齐框架,实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解,从而显著提升了 21.03% 的 ICL 表现(平均 11.3%),超过了最强 VLM 基线和多种 ICL 基准,并为 VLM 的 ICL 评估贡献了新的基准,并讨论了它们相对于现有技术的优势。
Mar, 2024
本研究分析了在跨语言文本分类中使用 in-context learning 的问题,并提出了一种称为 Cross-lingual In-context Source-Target Alignment (X-InSTA) 的 prompt 构建策略,该策略在 44 个不同的跨语言数据集上表现出了很好的性能。
May, 2023
大型语言模型通过在上下文中学习(ICL)在许多任务上展示了令人印象深刻的少量样本泛化能力。本研究提出了双向对齐(BiAlign)方法,旨在充分利用模型对 ICL 示例的偏好,提高较小模型的 ICL 能力。通过与大型模型的输入偏好对齐,同时对齐令牌级别的输出分布,BiAlign 在语言理解、推理和编码等各种任务中超过了现有基准。
Dec, 2023
探讨了大型语言模型在上下文学习中的能力,并研究了上下文演示的不同方面对机器翻译任务的影响。观察到不同模型家族对扰动示例呈现不同的行为,表明上下文学习的鲁棒性可能受到多种因素的影响。需要进一步研究来全面了解这些因素。
Jan, 2024
大型语言模型(LLMs)在上下文学习(ICL)方面展示了显着的能力,在没有明确预训练的情况下,仅通过少量的训练示例学习新任务。然而,尽管 LLMs 获得了成功,对于 ICL 如何从给定的提示中学习知识却知之甚少。在本文中,为了对 ICL 的学习行为有所了解,我们通过 ICL 和监督学习 (SL) 分别使用相同的演示示例训练相同的 LLMs,并研究它们在一系列分类任务中在标签扰动(即嘈杂标签和标签不平衡)下的表现。通过广泛的实验证明,我们首先发现黄金标签对下游上下文性能有显著影响,尤其是对于大型语言模型;然而,对于所有模型大小,不平衡标签对 ICL 的影响较小。其次,通过与 SL 进行比较,我们实证表明 ICL 对标签扰动的敏感性较低,并且随着模型大小的增加,ICL 逐渐获得与 SL 相当的性能。
Jul, 2023