AAAIOct, 2019

QASC: 句子组合问答数据集

PDF
TL;DR本文介绍了一个多个文本片段组合的重要性，以及如何使用 QASC 数据集进行多跳推理问题的解答。该数据集提供了用于文本检索的事实，并且必须使用常识推理来确定这些不同的事实如何有机组合在一起才能回答多选题。通过提供编码支持事实及其组成，本文提出了一种两步方法来缓解检索挑战，并使用其他多选题数据集作为额外的训练数据来加强推理模型，最终使模型的性能得到 11%（绝对值）的提升，但推理和检索问题仍未得到解决，模型落后于人类表现 20%。
multi-hop reasoningquestion answeringqasc datasetfact retrievalcommon-sense reasoning
发现论文，激发创造
  • 多跳问答的语义句子组合推理

    针对多跳领域问题，通过多段语义匹配模块（MSSM）和事实句子构成模块（FSC）的结合，提出了一种语义句子组成推理方法，其能提供更全面的上下文信息，实验结果表明该模型能结合现有的预训练语言模型，在 QASC 任务上的表现优于现有的 SOTA 方法约 9%。

    Mar, 2022

  • 学习解释：多跳问答中识别有效推理链的数据集和模型

    本研究引入了三种不同类型的解释数据集，发现基于 BERT 分类器的方法能够显著提高解释质量，同时通过使用广义推理链，使得对某些扰动更具鲁棒性。

    Oct, 2020

  • 衡量视频问答的组成一致性

    本文开发了一个问题分解引擎，能将组合问题分解为子问题的有向无环图。使用问题图，我们评估了三个最先进的模型，并使用一组新的组成一致性指标。 我们发现，这些模型无法正确地通过大多数构图进行推理，或者依赖于错误推理来获得答案，并在中间的推理步骤失败时频繁地自相矛盾或达到高准确度。

    Apr, 2022

  • 基于分层图神经网络的组合式问答

    本研究提出了一个包含超过 120k 个人工标注问题的大规模组合式问答数据集，回答在此数据集上的问题需要组合文档中的若干段落来生成最终答案。本文针对该问题提出了一种基于图神经网络的层次预训练模型，并在预训练和机器阅读理解领域中取得了巨大的提升。

    Jan, 2021

  • GQA：一个适用于真实世界视觉推理和组合问答的新数据集

    GQA 是一个旨在解决以往 VQA 数据集的缺陷问题的实际可视化推理和组成问题回答数据集，它使用场景图结构创建了 2200 万个不同的推理问题，伴随着功能程序共同表示它们的语义，其中包括新的可调平滑技术来缓解问题偏差。贯穿数据集的还有一套新的度量标准，可以评估基本的质量，例如一致性、基础和可信性。

    Feb, 2019

  • C-VQA: Visual Question Answering (VQA) v1.0 数据集的组合拆分

    本文介绍了一个新的视觉问答问题设置，称为组合 VQA（Compositional VQA）。为了便于在此设置下开发模型，我们提出了一个新的 VQA 数据集的组合拆分。最后，我们在这个新设置下评估了几个现有的 VQA 模型，并显示这些模型的性能比原始 VQA 设置下降了显著的量。

    Apr, 2017

  • 上下文问答

    本研究提出了一种基于对话的问答数据集 QuAC，其包含 14K 个信息寻求问答对话（共 100K 个问题），并且 QuAC 针对其他机器理解数据集中未发现的挑战进行了改进。我们在详细的定性评估中表明，QuAC 的问题通常更具开放性、难以回答或仅在对话上下文中有意义，还报告了许多参考模型的结果，包括最近被扩展为对话上下文模型的最先进的阅读理解体系结构。但是我们最好的模型仍然比人类表现差了 20 个 F1，这表明还有很大的未来工作空间。

    Aug, 2018

  • SQuAD: 文本机器理解 10 万 + 问题

    本研究介绍了 Stanford Question Answering Dataset (SQuAD)，一种包含超过 100,000 个问题的阅读理解数据集，旨在研究回答这些问题所需要的类型推理方式，研究使用依赖和组成树建立了强大的逻辑回归模型，并在数据集上获得了 51.0% 的 F1 分数。

    Jun, 2016

  • 构建用于全面评估推理步骤的多跳问答数据集

    本研究创建了一个名为 2WikiMultiHopQA 的新的多跳问题回答数据集，使用结构化和非结构化数据生成问题 - 答案对，并提供包含推理路径的证据信息以提供预测的全面解释并评估模型推理技能。通过实验，我们证明了我们的数据集对于多跳模型来说具有挑战性，并确保需要使用多跳推理。

    Nov, 2020

  • ComQA: 一个社区资源的复杂事实问题问答数据集，包含释义聚类

    介绍一个包含生产用户问题数据集的基于 WikiAnswers 平台的 ComQA 数据集，包含 11,214 个问题，涵盖了组成性的、时间推理和比较等不同挑战方面。该数据集通过大规模众包清理问题、分组和注释，以及分析数据集和现有系统对其的结果，对 QA 领域未来的研究提供了驱动作用。

    Sep, 2018