法律遗嘱陈述的自然语言推理有效性评估
本研究分析了 SNLI 和 MultiNLI 数据集中逻辑关系的数据偏差程度及其影响,并提出一种简单的方法来降低数据集中的数据偏差。我们发现仅对 SNLI 数据集中的假设进行分类,就能产生 64% 的准确率。
Jun, 2019
本研究提出了一种新的自然语言推理应用 —— 针对合同的 “文档级自然语言推理”,解决了合同审查过于耗时和过于昂贵的问题,并标注并发布了目前最大的包括 607 个合同的语料库。研究还指出,以往的模型在该任务上表现不佳,而研究者引入了一种新的算法,并通过多标签分类和更复杂的上下文分割方法使该任务取得了显著进展,并认为这一领域还有很大的改进空间。
Oct, 2021
本文提出了一个评估方法,即通过自动构建的 “压力测试” 来测试 NLI 模型的推理能力,评估了六种句子编码模型在这些测试中的表现,揭示了模型在面对复杂语言现象时的优势和劣势,为以后的研究方向提供了重要的指导意义。
Jun, 2018
介绍一种新的基于长文本语境下的对比学习模型 ConTRoL,该模型具有一定难度,能够检测语境推理中的各种类型,并且在测试中结果表明该模型比自然语言处理的最先进模型表现得更好,同时还可进行事实正确性验证任务。
Nov, 2020
通过扩展自然语言推理数据集并引入人工提供的自然语言解释,我们实现了能够学习人类提供解释的机器学习模型,并将其用于提高模型性能和确定其可靠性的研究。
Dec, 2018
本文提出了一种生成数据集的方法,用于生成特定的自然语言推理例子,从而更精确地表征语义复杂性,并指出仅强制词汇对齐的模型可以避免关键信息的损失。
Oct, 2018
通过语义推理研究各种类型的空间表达方式与推理模式,我们创建了一个名为 SpaceNLI 的数据集,并测试了几种 NLI 系统的它们对于空间推理复杂度和系统能力的提高。通过评估结果,我们发现系统对于空间 NLI 问题获得了适度的结果,但缺乏推理模式的一致性。结果还表明,非射影空间推理(尤其是由 “between” 介词引起的)是最具挑战性的。
Jul, 2023
我们研究了自然语言推理 (NLI) 在自动化需求工程任务中的应用。我们集中在需求分类、需求规范缺陷的识别以及利益相关者需求冲突的检测三个任务。通过在不同学习设置下进行的实验,我们明确证明了我们的 NLI 方法在需求规范分析方面超越了传统的 NLP 方法以及基于大型语言模型和聊天机器人模型的其他方法。此外,我们分享了在学习设置方面的经验教训,使 NLI 成为自动化需求工程任务的合适方法。
Apr, 2024
该研究从 13 个不同领域的语料库中抽取出超过 50 万个标记好的内容假设对,并将它们重新组织成一个名为 DNC 的大规模多样化自然语言推理数据集,以探究语句表示在不同类型推理问题中的表现。
Apr, 2018