EMNLPOct, 2021

ContractNLI: 合同文件级别自然语言推理数据集

PDF
TL;DR本研究提出了一种新的自然语言推理应用 —— 针对合同的 “文档级自然语言推理”，解决了合同审查过于耗时和过于昂贵的问题，并标注并发布了目前最大的包括 607 个合同的语料库。研究还指出，以往的模型在该任务上表现不佳，而研究者引入了一种新的算法，并通过多标签分类和更复杂的上下文分割方法使该任务取得了显著进展，并认为这一领域还有很大的改进空间。
document-level natural language inferencecontractscorpusevidence identificationcontext segmentation
发现论文，激发创造
  • DocNLI: 一个大规模的文档级自然语言推理数据集

    介绍了 DocNLI 数据集，它是基于广泛的 NLP 问题构建的，涵盖了文本的多种类型和文档层级上的 NLI，而不是仅仅句子层级上的。实验表明，即使没有微调，预训练于 DocNLI 上的模型在流行的句子级基准测试中表现良好，并且推理到文档层级上的跨域 NLP 任务具有良好的泛化性能。

    Jun, 2021

  • 将句子对 NLI 模型拓展至长文本和聚类的推理能力

    本研究探讨了 NLI 模型的直接零 - shot 应用，包括分析其对更长和越界输入的鲁棒性，开发新的聚合方法以操作完整文档，并在 ContractNLI 数据集上达到最先进的表现，并发现 NLI 分数提供强大的检索信号，并且比常见的相似性基于的方法提供更具相关性的证据提取。同时通过研究文档集群来鉴别不同来源之间的差异和共识，研究发现相同主题的维基百科页面在不同语言中存在实际不一致。

    Apr, 2022

  • 上下文中的自然语言推断 -- 探讨长文本中的上下文推理

    介绍一种新的基于长文本语境下的对比学习模型 ConTRoL，该模型具有一定难度，能够检测语境推理中的各种类型，并且在测试中结果表明该模型比自然语言处理的最先进模型表现得更好，同时还可进行事实正确性验证任务。

    Nov, 2020

  • 混合语言对话的自然语言推理新数据集

    本文提出了第一个用于混合语言自然语言推理的数据集，其中使用来自印地语电影和双语人士的双语代码混合作为前提和假设，并使用标准的 mBERT 算法对数据集进行了评估。

    Apr, 2020

  • 合同发现：数据集和具有竞争基线的少样本语义检索挑战

    该论文提出了一个新的共享任务来从法律文本中进行语义检索，并给出了在这个方法框架下提出的多个解决方案的评估。此外，针对文本片段相关性检测准确度的问题，提出了一些策略。最终，该论文展示了在法律领域专门化的语言模型方面的成果，这些模型已经公开。

    Nov, 2019

  • SciNLI：科学文本自然语言推理语料库

    本文介绍了 SciNLI，它是一个用于 NLU 的大型 NLI 数据集，旨在捕捉科学文本中的规范性，并包含 107,412 个从 NLP 和计算语言学方面的学术论文中提取的句子对。我们的实验表明，SciNLI 比现有的 NLI 数据集更难分类。使用 XLNet 的最佳模型仅实现了 78.18％的 Macro F1 得分和 78.23％的准确度，表明还有很大的改进空间。

    Mar, 2022

  • 面向语句理解的广覆盖挑战语料库

    介绍了一个用于机器学习模型开发和评估的数据集，以句子理解为主题并提到该数据集是目前最大的语料库之一，具有覆盖十种不同英语写作和口语体裁的数据，可评估跨体裁领域适应系统。

    Apr, 2017

  • NLI4CT: 临床试验报告的多证据自然语言推理

    本篇论文介绍了一个新的 NLI4CT 资源，包括两个主要任务：确定自然语言陈述和 CTR 之间的推理关系以及检索支持事实以证明预测关系。该资源暴露了现有 NLI 模型的局限性，为 CTR 推理提供了基础，大大推进了 CTR 的个性化医疗领域的研究。

    May, 2023

  • 自然语言推理（NLI）在需求工程任务中的应用经验

    我们研究了自然语言推理 (NLI) 在自动化需求工程任务中的应用。我们集中在需求分类、需求规范缺陷的识别以及利益相关者需求冲突的检测三个任务。通过在不同学习设置下进行的实验，我们明确证明了我们的 NLI 方法在需求规范分析方面超越了传统的 NLP 方法以及基于大型语言模型和聊天机器人模型的其他方法。此外，我们分享了在学习设置方面的经验教训，使 NLI 成为自动化需求工程任务的合适方法。

    Apr, 2024

  • 自然语言推理数据中的注释问题

    该研究通过大规模数据集研究了自然语言推理，并揭示了某些语言现象与推理类别高度相关的结论，进一步表明自然语言推理模型的成功被高估了，这个任务仍是一个难题。

    Mar, 2018