科学自然语言推理（NLI）的任务涉及预测从研究文章中提取的两个句子之间的语义关系。本文介绍了多样性科学 NLI 任务，并提出了 MSciNLI，这是一个包含 132,320 个从五个新科学领域中提取的句子配对的数据集。通过精调预训练语言模型和促使大型语言模型建立了 MSciNLI 的强基准。最高的 PLM 和 LLM 基准的宏 F1 分数分别为 77.21% 和 51.77%，说明 MSciNLI 对这两种模型来说都具有挑战性。此外，我们证明了领域转移降低了科学 NLI 模型的性能，从而证明了我们数据集中不同领域的多样性特征。最后，我们在中间任务迁移学习设置中使用了两个科学 NLI 数据集，并展示了它们可以提高科学领域下游任务的性能。我们在 Github 上提供了数据集和代码。

Apr, 2024

介绍了 DocNLI 数据集，它是基于广泛的 NLP 问题构建的，涵盖了文本的多种类型和文档层级上的 NLI，而不是仅仅句子层级上的。实验表明，即使没有微调，预训练于 DocNLI 上的模型在流行的句子级基准测试中表现良好，并且推理到文档层级上的跨域 NLP 任务具有良好的泛化性能。

Jun, 2021

我们提出了 IndoNLI 数据集，这是第一个人类收集的适用于印度尼西亚语的 NLI 数据集。我们采用 MNLI 的数据收集协议，收集了近 18K 个由众包工人和专家标注的句子对。实验结果表明，在我们的数据中，XLM-R 的性能优于其他预训练模型。最佳性能仍然远低于人类性能（13.4％的准确度差距），表明此测试集具有特别的挑战性。此外，我们的分析显示，我们的专家标注数据比众包标注数据更加多样化，注释工件更少。我们希望这个数据集可以帮助加快印尼自然语言处理研究的进展。

Oct, 2021

介绍了一个用于机器学习模型开发和评估的数据集，以句子理解为主题并提到该数据集是目前最大的语料库之一，具有覆盖十种不同英语写作和口语体裁的数据，可评估跨体裁领域适应系统。

Apr, 2017

本文提出了一种运用知识图谱的结合方法来提高自然语言推理问题（NLI）领域中性能的技术，该技术在文本、图形和文本到图形的模型上均取得了最新的最优表现，并讨论了外部知识在解决 NLI 问题中的实际意义。

Sep, 2018

本文提出一种基于对偶句子级别的监督对比学习（PairSCL）方法，采用交叉注意力机制学习句子对的联合表示，并使用对比学习目标来区分不同类别的句子对，在两个公共 NLI 数据集上，PairSCL 的准确性平均优于其他方法 2.1％，并在文本分类的七个转移任务上超过了先前的最新方法。

Jan, 2022

该研究从 13 个不同领域的语料库中抽取出超过 50 万个标记好的内容假设对，并将它们重新组织成一个名为 DNC 的大规模多样化自然语言推理数据集，以探究语句表示在不同类型推理问题中的表现。

Apr, 2018

本研究探讨了 NLI 模型的直接零 - shot 应用，包括分析其对更长和越界输入的鲁棒性，开发新的聚合方法以操作完整文档，并在 ContractNLI 数据集上达到最先进的表现，并发现 NLI 分数提供强大的检索信号，并且比常见的相似性基于的方法提供更具相关性的证据提取。同时通过研究文档集群来鉴别不同来源之间的差异和共识，研究发现相同主题的维基百科页面在不同语言中存在实际不一致。

Apr, 2022

介绍一种新的基于长文本语境下的对比学习模型 ConTRoL，该模型具有一定难度，能够检测语境推理中的各种类型，并且在测试中结果表明该模型比自然语言处理的最先进模型表现得更好，同时还可进行事实正确性验证任务。

Nov, 2020

本篇论文针对全球大部分语言缺乏可靠的自然语言推理（NLI）数据集这一问题，提出了中国的首个大规模 NLI 数据集，并采用语言学专家来对其进行注释。通过使用中文预训练模型，对数据集进行了基线测试，发现即使是表现最好的模型，其性能也远远落后于人类，因此这一具有挑战性的新资源有望帮助加速中文 NLU 的进展。该数据集是首个非英语语言的人采集的 MNLI 风格数据集。

Oct, 2020