ACLSep, 2019

不确定的自然语言推断

PDF
TL;DR本文介绍了不确定的自然语言推断（UNLI），它是自然语言推断（NLI）的一种改进，通过预测主观概率评估来预测结果，利用概率评估重新标记了部分 SNLI 数据集，并使用现有的分类标签化的 NLI 数据进行预训练，最终模型展示了超越分类标签化的 NLI 任务的更微妙推断的人类表现水平。
uncertain natural language inferencesubjective probability assessmentsdirect scalar regression modeling approachpre-traininghuman performance
发现论文，激发创造
  • 探究预训练和知识增强模型在自然语言推理中的应用的多个实验

    该研究探索了无监督预训练和外部知识对自然语言推断任务的影响，以了解其如何帮助自然语言理解和解决 NLP 问题。

    Apr, 2019

  • 非自然语言推论

    通过一个明确的指标，我们提出了多种度量方法，并研究了哪些特定的排列方式使得大型 Transformer NLU 模型在自然语言推理任务中对随机词序具有一定程度的规律性。我们对此现象进行了综合实证评估，发现无论是基于 Transformer 还是基于 pre-Transformer RNN / ConvNet 结构的编码器，以及跨多种语言（英语和中文）都存在此问题，并提供相关数据和代码。

    Dec, 2020

  • 拥抱不确定性：转变 NLI 模型的训练目标

    本文研究了在自然语言推理任务中训练模型时，直接使用标注者标签分布的方法而非正确标签的方法，并准备了 AmbiNLI 数据集，经过模型微调可以降低混沌度得分，并可提高模型性能和下游任务的表现。

    Jun, 2021

  • 学习无标注数据推理：一种半监督学习方法用于强健的自然语言推理

    本文提出了一种结合无标注数据的 NLI 半监督学习方法，其中使用了条件语言模型 BART 生成假设句子，以减少对人类注释的依赖，实验结果显示该方法能够成功地利用无标注数据并在低资源环境下显著提高四个 NLI 评测集的性能。

    Nov, 2022

  • 简单尴尬：基于推断的自然语言推理性能预测

    本文提出了一种快速预测基于上下文表示的自然语言推理模型性能的方法，通过比较句子嵌入的余弦相似性，避免了费时的微调，减少了模型选择过程中的时间消耗。

    Feb, 2022

  • 自然语言推理模型能否验证问答系统的预测？

    本文探讨如何利用自然语言推理来验证问答系统提供的答案是否正确，并通过使用大型预训练模型和最新的数据集来构建 QA 实例的前提 - 假设配对，进而将 QA 和 NLI 数据集结合以训练 NLI 模型，以此提高 QA 模型的准确性和置信度。

    Apr, 2021

  • 自然语言推理（NLI）在需求工程任务中的应用经验

    我们研究了自然语言推理 (NLI) 在自动化需求工程任务中的应用。我们集中在需求分类、需求规范缺陷的识别以及利益相关者需求冲突的检测三个任务。通过在不同学习设置下进行的实验，我们明确证明了我们的 NLI 方法在需求规范分析方面超越了传统的 NLP 方法以及基于大型语言模型和聊天机器人模型的其他方法。此外，我们分享了在学习设置方面的经验教训，使 NLI 成为自动化需求工程任务的合适方法。

    Apr, 2024

  • 对抗性自然语言推理数据集分析

    本文提出了一种精细注释 Adversarial NLI 的方法，通过分析其数据集中不同方面的推理并使用手工编码，回答了一些问题，如哪种推理类型最常见，哪种模型在每种推理类型上的表现最好等，并希望这些注释可以使得对于 ANLI 训练的模型进行更细粒度的评估，更深入的了解模型失败和成功的原因，并且有助于在未来培训出更好的模型。

    Oct, 2020

  • 一种无需特定语言训练数据的深度自然语言推理预测器

    我们提出了一种 NLP 技术，利用通用翻译数据集和知识蒸馏技术，通过两个预训练模型在源语言和目标语言上的表现实现了目标语言的句子关系推理，该技术在多个任务上展现了普适性。

    Sep, 2023

  • 低资源科学自然语言推理的共同训练

    我们提出了一种新的协同训练方法，通过根据分类器的训练动态为远程监督标签分配权重，反映了它们在后续训练轮次中的使用方式。我们通过分配重要权重而不是基于预测置信度的任意阈值过滤示例，使得自动标记的数据得以最大化利用，同时确保噪声标签对模型训练的影响最小化。该方法相对于远程监督基准方法在 Macro F1 上实现了 1.5％的改进，并在几个其他强 SSL 基准方法上取得了显著的改进。我们在 Github 上提供了我们的代码和数据。

    Jun, 2024