人类标签差异存在于许多自然语言处理任务中，包括自然语言推理。在研究中，我们建立了 LiveNLI 数据集，通过 1415 个生态有效解释（标注者解释他们选择的 NLI 标签）来获取直接证据，研究了标签差异的产生。结果显示，解释对于理解标签的不同解释至关重要，并且标注者有时会基于不同的原因选择相同的标签，这表明解释在一般中导航标签解释方面起着关键作用。我们进行了少样本大语言模型生成解释的尝试，但结果不一致：它有时会产生有效和有信息量的解释，但也会生成不支持标签的不合理的解释，提出了改进的方向。

Oct, 2023

人类标签变异与注释错误是 NLP 基准测试中普遍存在的问题，现有研究通常将其孤立研究。本论文提出了一种系统的方法和一个新的数据集 VariErr，着重研究英语 NLI 任务中的错误与变异。通过评估各种自动错误检测方法和 GPT 模型在发现错误和人类标签变异方面的效果，我们发现目前的自动错误检测方法明显不如 GPT 模型和人类。虽然 GPT-4 是最好的系统，但仍然没有达到人类的表现水平。我们的方法不仅适用于 NLI，也为将来研究错误与合理变异提供了丰富的研究基础，从而可以获得更好、更可靠的 NLP 系统。

Mar, 2024

本文总结了解释性自然语言处理领域近年来集中收集人类注释的文本解释，将其分为三类 (highlights, free-text, and structured) 并对其注释方法进行整理，提出了现有采集方法的优点和缺点，给出了未来收集数据集的建议。

Feb, 2021

探究利用自然语言解释来监督模型的注意力权重，促使其更集中于解释中的关键词，从而提高模型性能，此方法的实验表明，这种改进可以适用于其它 NLI 数据集

Apr, 2021

本文提出了一种利用自然语言解释对大型语言模型进行训练的方法，通过收集一致性注释来标记数据，以及利用该方法对大型语言模型进行训练，从而提高标注数据的质量。

May, 2023

本文探讨人类标注变异的问题在机器学习中的影响及解决方法，并提供一个包含无聚合标签的公开数据集库以便以后进行研究。

Nov, 2022

本文提出了一种可解释自然语言理解的框架，使用一小部分人类注释的解释进行训练，并采用变分 EM 方法进行优化，同时提出了基于解释的自训练方法，在两个自然语言理解任务上进行实验，证明了该框架不仅可以在监督和半监督设置下进行有效的预测，还可以生成良好的自然语言解释。

Oct, 2020

本文探讨利用人类书写的样例以几乎无监督的方式创作自由文本解释的任务，发现高质量的提示有助于提高语言模型的生成效果，同时人类研究表明 GPT-3 生成的解释在某些情况下能够胜过人工生成的解释；作者还结合 GPT-3 与学习自评价的筛选器对生成的解释进行过滤，结果表明这一方法能够实现较高水平的解释过滤。

Dec, 2021

通过扩展自然语言推理数据集并引入人工提供的自然语言解释，我们实现了能够学习人类提供解释的机器学习模型，并将其用于提高模型性能和确定其可靠性的研究。

Dec, 2018

研究了自然语言推理任务中固有人类分歧 (注释标签分布) 的估计。通过后处理平滑预测的标签分布以匹配期望的标签熵取得了很好的效果。同时，通过引入有多个参考的少量样例进行训练，相较于传统做法每个训练样本只采集一个参考，我们发现这种多参考的方法可以在固定注释预算下实现更好的精度。最后，提供了对比这两种方法的丰富分析，用于改进标签分布估计。

Feb, 2021