ACLApr, 2021

分布式 NLI：学习预测人类观点分布的语言推理

PDF
TL;DR介绍了分布式 NLI 任务，并探究了通过 Monte Carlo Dropout、Deep Ensemble、Re-Calibration 和 Distribution Distillation 等分布估计方法来更有效地捕捉人类判断分布的模型。说明了对一个示例进行多次注释对建模人类判断分布的价值，但最佳结果仍远低于人类的上限，最后支持特定情况下这些方法的使用并鼓励未来的工作。
发现论文，激发创造
  • 从集体人类意见中我们能学到自然语言推理数据的什么？

    通过 ChaosNLI 数据集，该研究发现人们在 NLI 评估中存在高度的主观性，新颖度极强的数据集会导致现有模型表现不佳，并提出了考虑人类评价的分布的新评估指标。

    Oct, 2020

  • 捕获标签分布：自然语言推理案例研究

    研究了自然语言推理任务中固有人类分歧 (注释标签分布) 的估计。通过后处理平滑预测的标签分布以匹配期望的标签熵取得了很好的效果。同时，通过引入有多个参考的少量样例进行训练，相较于传统做法每个训练样本只采集一个参考，我们发现这种多参考的方法可以在固定注释预算下实现更好的精度。最后，提供了对比这两种方法的丰富分析，用于改进标签分布估计。

    Feb, 2021

  • 大型语言模型是否能像人类一样推断和产生分歧？

    本文研究大型语言模型在处理自然语言推理任务上的表现，并通过 Monte Carlo Reconstruction 和 Log Probability Reconstruction 两种方法评估其与人类理解的一致性，结果表明大型语言模型在 NLI 任务和人的理解差异分布方面表现不佳。

    May, 2023

  • 不确定的自然语言推断

    本文介绍了不确定的自然语言推断（UNLI），它是自然语言推断（NLI）的一种改进，通过预测主观概率评估来预测结果，利用概率评估重新标记了部分 SNLI 数据集，并使用现有的分类标签化的 NLI 数据进行预训练，最终模型展示了超越分类标签化的 NLI 任务的更微妙推断的人类表现水平。

    Sep, 2019

  • 使用人类解释监督模型关注力以强化自然语言推理

    探究利用自然语言解释来监督模型的注意力权重，促使其更集中于解释中的关键词，从而提高模型性能，此方法的实验表明，这种改进可以适用于其它 NLI 数据集

    Apr, 2021

  • 通过解释理解和预测自然语言推理中的人类标签变化

    该论文创建了一个包含注解高亮和自由文本解释的生态有效的自然语言推断数据集 --LiveNLI。使用该数据集对思维链进行提示，发现目前 GPT-3 在预测标签分布方面仍有改进的空间

    Apr, 2023

  • 通过少量解释来近似人类对 NLI 的判断分布：从小处寻找大视角

    利用少数专家标签和解释，借助大规模语言模型 (LLM) 近似人类判断分布 (HJD), 从而提供了一种对 HJD 进行标注扩展的解决方案。然而，利用 LLM 生成的判断分布 (MJD) 进行微调时，结果存在部分不一致性，需要同时使用全局级的形状度量和可视化来更有效地评估 MJD 和 HJD 的一致性。

    Jun, 2024

  • 收集多样化的自然语言推理问题用于句子表示评估

    该研究从 13 个不同领域的语料库中抽取出超过 50 万个标记好的内容假设对，并将它们重新组织成一个名为 DNC 的大规模多样化自然语言推理数据集，以探究语句表示在不同类型推理问题中的表现。

    Apr, 2018

  • 提高 NLP 系统的选择性预测能力

    本文介绍了一种通过使用预测置信度和难度分数来校准模型的概率估计方法，并基于此方法进行了自然语言推理和重复检测任务的实验，结果表明我们的校准器在 NLI 和 DD 任务中分别提高了 15.81％和 6.19％的准确率。

    Aug, 2020

  • 利用自然语言解释缩放人类判断

    本文提出了一种利用自然语言解释对大型语言模型进行训练的方法，通过收集一致性注释来标记数据，以及利用该方法对大型语言模型进行训练，从而提高标注数据的质量。

    May, 2023