ACLJun, 2019

SherLIiC: 一个基于类型和事件的词汇推理基准，用于评估自然语言推理

PDF
TL;DRSherLIiC 是一个词汇推理上下文测试平台，由包含 3985 个手动注释的推理规则候选项（InfCands），包括～960k 未标记的 InfCands 和～190k 从大型实体链接语料库 ClueWeb09 中提取的 Freebase 实体间的类型文本关系。该平台对现有自然语言推理系统构成了颇具挑战性的考验。
lexical inferencecontextinference ruleentity linkingnatural language inference
发现论文，激发创造
  • 上下文中的词汇推断语言模型

    该研究利用基于预训练语言模型的方法探究了语义词汇判断任务，并通过构建几个模型在该任务上取得了新的最优结果。

    Feb, 2021

  • NLI4CT: 临床试验报告的多证据自然语言推理

    本篇论文介绍了一个新的 NLI4CT 资源，包括两个主要任务：确定自然语言陈述和 CTR 之间的推理关系以及检索支持事实以证明预测关系。该资源暴露了现有 NLI 模型的局限性，为 CTR 推理提供了基础，大大推进了 CTR 的个性化医疗领域的研究。

    May, 2023

  • 上下文中的自然语言推断 -- 探讨长文本中的上下文推理

    介绍一种新的基于长文本语境下的对比学习模型 ConTRoL，该模型具有一定难度，能够检测语境推理中的各种类型，并且在测试中结果表明该模型比自然语言处理的最先进模型表现得更好，同时还可进行事实正确性验证任务。

    Nov, 2020

  • LeSICiN：一种基于异构图的自动化印度法律文件法规识别方法

    本研究提出了一种名为 LeSICiN 的模型，将法律引文网络和文本内容结合起来，成功地实现了对印度刑事法典（IPC）案例中存在的法律法规进行识别。通过对包含多个印度法院案件的案例事实和 IPC 法规的数据集进行实验，证实了该模型在法律条款识别任务上表现优越。

    Dec, 2021

  • 用需要简单词汇推理的句子破解 NLI 系统

    我们创建了一个新的 NLI 测试集，展示了当前最先进模型在需要词汇和世界知识的推理方面存在的不足。这些新的例子比 SNLI 测试集更简单，包含的句子与训练集中的句子最多只相差一个单词。然而，对于在 SNLI 上训练的系统，在新的测试集上的表现明显更差，这表明这些系统在泛化能力上受到了限制，未能涵盖许多简单的推理。

    May, 2018

  • 收集多样化的自然语言推理问题用于句子表示评估

    该研究从 13 个不同领域的语料库中抽取出超过 50 万个标记好的内容假设对，并将它们重新组织成一个名为 DNC 的大规模多样化自然语言推理数据集，以探究语句表示在不同类型推理问题中的表现。

    Apr, 2018

  • IMLI: 基于 MaxSAT 的可解释分类规则的增量学习框架

    本文提出了 IMLI: 一种基于 MaxSAT 的增量学习方法，通过基于分区的训练方法，实现可扩展的运行时性能，从而在不损失准确性和可解释性的情况下，能够利用 MaxSAT 求解器并处理来自 UCI 存储库的基准测试数据。

    Jan, 2020

  • LINC: 将语言模型与一阶逻辑证明器相结合的神经符号化逻辑推理方法

    通过使用神经符号计算来全面利用 LLMs 和符号化证明器，本文探索了以逻辑推理任务，特别是符合自然语言的任务为基础的解决方案。

    Oct, 2023

  • XL-WiC: 用于评估语义上下文的多语言基准

    提出了一种多语言的词义消歧基准测试库（称为 XL-WiC），用于评估具有不同语言背景和资源可用性的模型，即使模型仅在英语数据上进行训练，仍能在跨语言学习中达到良好的性能。

    Oct, 2020

  • LoNLI: 一个测试自然语言推理能力的可扩展框架

    本研究提出了一个可扩展的框架，通过行为测试创建了一个半合成的大型测试平台和相关框架，以分析和测试 17 种推理能力维度，包括语用推理，从而将自然语言推断（NLI）的不同逻辑推理能力以集合和型分类的方式应用于 NLU。通过分析最新的 NLI 系统，我们发现我们的基准确实非常难以训练，一些能力更难以训练。

    Dec, 2021