这篇论文介绍了一个新的自然语言推理挑战 ——ConjNLI，用于测试具有不同布尔和非布尔推理的含多个并列连词 (“and”，“or”，“but”，“nor”)、量词和否定语的结合句子的理解能力。研究表明，像 RoBERTa 这样的预训练语言模型在理解这种句子的语义时仍存在挑战，目前呼吁对于并列的更好理解和处理的未来的工作。

Oct, 2020

大型语言模型在理解否定时表现亚优，本研究通过引入一个大规模自动生成的常识知识数据集，涉及到约 40 万个描述性句子，其中大约 2/3 的句子包含否定形式，使用零样本学习方法对现有开源语言模型进行测试，结果表明尽管模型对于肯定的句子有较高准确性，但在否定句子方面存在困难，缺乏深入理解否定的能力。尽管在否定句子上对模型进行微调可以提高其性能，但在处理否定方面仍然存在泛化能力不足的问题，突显出大型语言模型在否定理解和泛化方面仍面临挑战。

Oct, 2023

本研究通过四种方法评估自然语言推理 (NLI) 模型是否可以学习词汇蕴涵和否定之间的组合交互作用，并提出了一个新的自然数据集 MoNLI，其中集中了词汇蕴涵和否定的相关内容，通过对 MoNLI 的 Fine-tuning 得到的模型相较于通用 NLI 数据集拥有更好的效果，同时对当前表现最佳的 BERT 模型进行探究表明其至少部分嵌入了词汇蕴涵和否定的算法级别理论。

Apr, 2020

我们创建了一个新的 NLI 测试集，展示了当前最先进模型在需要词汇和世界知识的推理方面存在的不足。这些新的例子比 SNLI 测试集更简单，包含的句子与训练集中的句子最多只相差一个单词。然而，对于在 SNLI 上训练的系统，在新的测试集上的表现明显更差，这表明这些系统在泛化能力上受到了限制，未能涵盖许多简单的推理。

May, 2018

本研究通过比较语义结构来表示前提和假设之间的语义关系，使用可解释的度量标准计算假设是否是前提的语义子结构，并在三个英文基准测试中评估了使用语境化嵌入和语义图表达的价值，并发现它们提供了互补的信号，并可以在混合模型中一起利用。

Jun, 2023

本文介绍了 Scoped Negation NLI 基准测试，用于评估自然语言模型处理否定语义组合的能力，其中用到了一系列例子和策略，最后发现 InstructGPT 模型在句子补全测试中表现出了正确的否定语义推理能力，但在处理预训练体系外的样例时表现无法胜任。

May, 2023

本研究提出了一个可扩展的框架，通过行为测试创建了一个半合成的大型测试平台和相关框架，以分析和测试 17 种推理能力维度，包括语用推理，从而将自然语言推断（NLI）的不同逻辑推理能力以集合和型分类的方式应用于 NLU。通过分析最新的 NLI 系统，我们发现我们的基准确实非常难以训练，一些能力更难以训练。

Dec, 2021

本文介绍一个挑战集用以测试 NLI 系统是否使用了一个启发式方法：假设一个句子包括了其所有子序列，如 “Alice 相信 Mary 在说谎” 就包括了 “Alice 相信 Mary” 等。作者评估了几个有竞争力的 NLI 模型并发现了有力的证据说明它们确实依赖于子序列启发式方法。

Nov, 2018

该研究提出了四种新的众包协议来收集 NLI 数据集，以改善训练样本的质量和多样性，然而实验结果表明这些新方法在迁移学习的任务中没有优势，但它们可以显著降低注释文本中的问题。

Apr, 2020

本研究提出了一种新的自然语言推理应用 —— 针对合同的 “文档级自然语言推理”，解决了合同审查过于耗时和过于昂贵的问题，并标注并发布了目前最大的包括 607 个合同的语料库。研究还指出，以往的模型在该任务上表现不佳，而研究者引入了一种新的算法，并通过多标签分类和更复杂的上下文分割方法使该任务取得了显著进展，并认为这一领域还有很大的改进空间。

Oct, 2021