EMNLPJan, 2021

WebSRC: Web 结构阅读理解数据集

PDF
TL;DR本文提出了结构化阅读理解（SRC）的概念和挑战，介绍了基于 Web 的 SRC 任务和其难点，以及开发 WebSRC 数据集的方法和性质。WebSRC 包括 400K 个问题 - 答案对，涵盖了 6.4K 个 Web 页面，并公开了相应的 HTML 源代码、屏幕截图和元数据。该数据集对于文章的理解不仅需要理解文本语义，还需理解文章的结构。该文还进行了多种基础模型的评估，并探讨了结构信息和视觉特征的有用性。
web searchstructural reading comprehensionwebsrcweb-based datasetquestion-answer pairs
发现论文，激发创造
  • TIE: 基于拓扑信息增强的网络页面结构阅读理解

    本文提出了一种基于网络页面拓扑信息的阅读理解模型 TIE，通过将令牌级任务转化为标签级任务，引入了两个步骤（即节点定位和答案细化），并整合了图形注意力网络和预训练语言模型，实验结果表明其性能优于强基线并达到了最新水平。

    May, 2022

  • 以 Web 为知识库回答复杂问题

    本文提出一种新的框架，用于回答复杂问题，即将复杂问题分解成一系列简单问题，并从这些答案中计算出最终答案。实证结果表明，问题分解将在新数据集上将性能从 20.8 提高到 27.5。

    Mar, 2018

  • ComplexWebQuestions 数据集的重新分区

    通过 ComplexWebQuestions 训练阅读理解模型，无法防止训练集中的泄漏，但是构建新的数据集划分可以解决这个问题，并将其公开发布，使用训练数据训练 RC 模型可显著提高现有技术水平。

    Jul, 2018

  • 用于网络问答的半结构化数据图形表示

    本研究提出了一种基于图表示的网络数据表和列表的有效分类方法，通过预训练技术和推理技术来进行问答任务，显著提高了目前最先进技术的 F1 分数。

    Oct, 2020

  • STARC: 面向阅读理解的结构化注释

    STARC 是用于评估阅读理解的结构化注释框架，该框架引入了一种答案选择的有理结构并将其与文本跨度注释绑定。使用 OneStopQA 数据集作为基础，可以使用 STARC 进行自动注释质量探测和机器阅读理解行为与人类进行深入分析和比较。RACE 标准数据集在阅读理解方面有局限性，而 OneStopQA 则为阅读理解提供了一种替代测试集。

    Apr, 2020

  • SQuAD: 文本机器理解 10 万 + 问题

    本研究介绍了 Stanford Question Answering Dataset (SQuAD)，一种包含超过 100,000 个问题的阅读理解数据集，旨在研究回答这些问题所需要的类型推理方式，研究使用依赖和组成树建立了强大的逻辑回归模型，并在数据集上获得了 51.0% 的 F1 分数。

    Jun, 2016

  • VisualMRC：基于文档图片的机器阅读理解

    本研究提出了一个名为 VisualMRC 的新的视觉机器阅读理解数据集，包含来自多个网络域的 10,000 多个文档图像，以及 30,000 多个问题和答案对，以帮助发展自然语言理解和生成能力。此外，研究还引入了一个扩展了现有序列到序列模型的新模型，以考虑文档的视觉布局和内容。该模型在自动评估度量方面优于基本序列到序列模型和最先进的 VQA 模型，但其性能仍低于大多数人类表现。该数据集将有助于将视觉和语言理解联系起来的研究。

    Jan, 2021

  • ReviewQA：一个基于关系和方面的意见阅读数据集

    本文介绍了一种基于酒店评论的问题回答数据集 ReviewQA，旨在评估模型的关联理解和能力，并提供了几种基线模型的实现。

    Oct, 2018

  • 评估语义解析与基于简单 Web 的问答模型的对比

    本文探讨通过与基于抽取网页片段的问答基线相比较，基于语义分析的问答模型的评估方法。在 COMPLEXQUESTIONS 数据集上，我们发现我们的模型获得了合理的表现。

    Jul, 2017

  • CERES: 半结构化 Web 远程监督关系抽取

    本文提出了一种基于远程监督的半结构化网站自动提取方法，通过自动的结构对齐和标签生成获取足够完整的训练标记，再通过分类器预测新关系实例，实现了对知识库自动抽取的作用，取得了很好的实验效果。

    Apr, 2018