EMNLPSep, 2019

QuaRTz：一份定性关系问题开放领域数据集

PDF
TL;DR介绍了第一个开放领域的定性关系数据集 QuaRTz，用于推理文本定性关系。QuaRTz 包含一般的定性陈述，结合 3864 个众包定位问题，对应的是类似 “Billy 涂有比 Lucy 更低 SPF 的防晒霜。谁的皮肤最好受保护？” 的问题，以及被比较对象的注释。与以往的数据集不同，一般知识是文本而不是固定的关系集，并且在新颖环境中测试系统理解和应用文本定性知识的能力。实验结果表明，最先进的结果比人类表现低得多（20％），这是自然语言处理社区的一个开放挑战。
发现论文，激发创造
  • QuaRel：回答关于定性关系问题的数据集和模型

    本文介绍了 QuaRel 数据集、适用于此类问题的简单灵活的概念框架、逻辑表达式以及用于此任务的两个新模型：第一个模型（称为 QuaSP+）在 QuaRel 上显着优于现有工具，第二个模型（QuaSP + Zero）展现了零样本能力。

    Nov, 2018

  • Quasar: 通过搜索和阅读获取问题回答的数据集

    该研究提出了两个数据集，用于评估自然语言查询的理解和从大量文本语料库中提取答案的系统。Quasar-S 数据集由 37000 个填空式查询构成，Quasar-T 数据集由 43000 个开放领域的问答问题和它们的答案组成。我们将这些数据集作为事实型问题回答的两个相关子任务的挑战，并评估了几个基线模型，并显示它们在 Quasar-S 和 - T 方面落后于人类表现 16.4％和 32.1％。

    Jul, 2017

  • 预测或比较：走向可解释的定性推理

    本研究通过将定性关系任务分类成预测和比较两种类型，并采用端到端训练的神经网络模块来模拟这两种推理过程，实验结果在两个问答数据集 QuaRTz 和 QuaRel 上展示了我们方法的有效性和泛化能力，并提供模块的中间输出来使推理过程更容易解释。

    Jun, 2021

  • TANQ: 一个开放领域的表格问答数据集

    TANQ 是第一个需要从多个源中提取信息构建表格作为答案的开放领域问题回答数据集，我们在开放、正式和闭卷的场景中使用顶尖的语言模型进行评测，最好的基准模型 GPT4 的综合 F1 得分为 29.1，相较于人类表现差了 19.7 个百分点，我们分析了在这个任务中所需的不同技能以及模型生成答案的常见失败，指出 TANQ 是一个具有许多挑战的复杂任务。

    May, 2024

  • 一种基于生成验证的回答定性关系问答方法

    本文通过使用 generate-validate 框架，即生成逻辑形式的自然语言描述，并验证该自然语言描述是否符合输入文本，展示了更好的迁移学习范围，相较于现有基于语义分析器的方法，本方法取得了 7.93% 的更高性能。

    Aug, 2019

  • 用于回答时间关键问题的数据集

    本文提出了构建一种基于时间敏感的问答数据集，用于评估长文档 QA 系统的时间推理能力，针对现有的 QA 数据集缺乏时序问题的问题，展示出当前现有的 SoTA QA 系统（如 BigBird 和 FiD）对于时间推理的能力仍不完备，在此基础上提出将该数据集作为开发更加敏感于时间推理的 NLP 模型的基准测试。

    Aug, 2021

  • 基于知识库的通用且可解释的时间问答基准

    本文提出了一个基于 Wikidata 的时间问答数据集 TempQA-WD，以鼓励更多的研究在复杂推理任务方面的延伸和拓展。该数据集具有以下特点：（a）包含了中间 sparql 查询以方便基于语义解析的 KBQA 方法的评估，（b）可以推广到多个知识库，如 Freebase 和 Wikidata，（c）挑战性更强。

    Jan, 2022

  • 上下文问答

    本研究提出了一种基于对话的问答数据集 QuAC，其包含 14K 个信息寻求问答对话（共 100K 个问题），并且 QuAC 针对其他机器理解数据集中未发现的挑战进行了改进。我们在详细的定性评估中表明，QuAC 的问题通常更具开放性、难以回答或仅在对话上下文中有意义，还报告了许多参考模型的结果，包括最近被扩展为对话上下文模型的最先进的阅读理解体系结构。但是我们最好的模型仍然比人类表现差了 20 个 F1，这表明还有很大的未来工作空间。

    Aug, 2018

  • SpartQA：面向空间推理的文本问答基准

    本文提出了一个自然语言文本中空间推理的问答基准，其中包含更现实的空间现象，并且挑战最先进的语言模型。我们提出了一种远距离监督方法来改善这个任务。具体来说，我们设计语法和推理规则来自动生成视觉场景的空间描述和相应的问答配对。实验证明，进一步预训练语言模型对这些自动生成的数据显著提高了语言模型对空间理解的能力，从而有助于更好地解决两个外部数据集，即 bAbI 和 boolQ。我们希望这项工作能够推动更复杂的文本空间推理模型的研究。

    Apr, 2021

  • FinQA: 金融数据上的数值推理数据集

    为了解决金融领域中财务报表分析的难题，本文提出了一个新的数据集 FinQA，并进行了广泛的实验。实验结果显示预训练模型在金融知识和复杂多步骤的数值推理方面远远不及专家人类。这个新的数据集应该为复杂应用领域的深入研究提供了可能性。

    Sep, 2021