缓解上下文学习中的标签偏差

ACLMay, 2023

Mitigating Label Biases for In-context Learning

Yu Fei, Yifan Hou, Zeming Chen, Antoine Bosselut

TL;DR通过提出自己的划分方式，本文研究了三种在上下文学习中导致标签偏差的问题，并提出了一个基于领域的偏差校准方法，进一步优化了 GPT-J 和 GPT-3 在不同任务中的分类表现。

Abstract

Various design settings for in-context learning (ICL), such as the choice and order of the in-context examples, can bias the model's predictions. While many studies discuss these design choices, there have been few systematic investigations into categorizing them and mitigating their i

in-context learning label bias text classification bias calibration language model

发现论文，激发创造

使用未确定演示测量上下文学习的感应偏差

通过构建自然语言信息的语境学习，研究了其归纳偏见的特征偏向，并尝试不同介入方式以对其进行干预，结果表明对于一些归纳偏见较强的特征，介入可能很难成功。

May, 2023

由标签分布指导的上下文示例排序

通过优化问题，研究通过预训练语言模型的上下文学习中的示例排序，以提高文本分类的准确性和选择更好的上下文示例。

Feb, 2024

LLM 对上下文中的多数标签偏差有多健壮？

研究论文讨论了在大语言模型中，针对文本分类任务中存在的主要标签偏差引起的偏移，通过研究不同模型和任务的鲁棒性边界发现，某些大语言模型对主要标签偏差具有高度的鲁棒性（约 90%），并强调了模型大小和教学提示的丰富性对模型的鲁棒性有影响。

Dec, 2023

多标签文本分类的上下文学习

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

生成式校准用于上下文学习

通过理论和实证研究，我们首次确定了上下文学习中的标签偏移现象，并提出了一种生成校准方法，通过调整标签边际分布来校准上下文预测分布，实验证明该方法在文本分类任务中显著且一致地优于其他校准方法，同时对于不同的提示配置也表现稳定。

Oct, 2023

探究上下文学习行为：与监督学习的比较

大型语言模型（LLMs）在上下文学习（ICL）方面展示了显着的能力，在没有明确预训练的情况下，仅通过少量的训练示例学习新任务。然而，尽管 LLMs 获得了成功，对于 ICL 如何从给定的提示中学习知识却知之甚少。在本文中，为了对 ICL 的学习行为有所了解，我们通过 ICL 和监督学习 (SL) 分别使用相同的演示示例训练相同的 LLMs，并研究它们在一系列分类任务中在标签扰动（即嘈杂标签和标签不平衡）下的表现。通过广泛的实验证明，我们首先发现黄金标签对下游上下文性能有显著影响，尤其是对于大型语言模型；然而，对于所有模型大小，不平衡标签对 ICL 的影响较小。其次，通过与 SL 进行比较，我们实证表明 ICL 对标签扰动的敏感性较低，并且随着模型大小的增加，ICL 逐渐获得与 SL 相当的性能。

Jul, 2023

超越性能：量化和减轻 LLMs 中的标签偏差

通过评估不同方法对模型预测中的标签偏倚进行量化研究，我们提出了一种专门用于少样本提示的新型标签偏倚校准方法，其在提高性能和减轻标签偏倚方面优于最近的校准方法。我们的结果强调大型语言模型中标签偏倚对其可靠性的影响。

May, 2024

大型语言模型的上下文学习方式不同

本研究研究了语言模型中的场景学习（ICL）如何受到语义先验和输入标签映射的影响，同时对各种模型家族进行了调查。

Mar, 2023

操纵标签空间进行上下文分类

在这项研究中，我们提出了两种策略，即标签分布增强和视觉描述增强，以提高多样数据集上的上下文分类性能，包括经典的 ImageNet 和更细粒度的数据集，如 CUB-200。具体而言，我们的方法在 ImageNet 上将准确率从 4 次迭代中的 74.70％提高到仅需要 2 次迭代即可达到 76.21％，超过 CLIP 0.67％。在 CUB-200 上，我们的方法将 1 次迭代的准确率从 48.86％提高到 69.05％，比 CLIP 高出 12.15％。

Dec, 2023

上下文学习的双重操作模式

通过引入概率模型，我们对上下文学习的双重工作模式进行了解释，并分析了线性函数的上下文学习行为，展示了一种可能的解释，即通过更多的上下文示例，任务学习将产生作用并减少风险。

Feb, 2024