ACLJun, 2018

知道你不知道什么：SQuAD 无法回答的问题

PDF
TL;DRSQuAD 2.0 is a dataset that combines existing SQuAD data with over 50,000 unanswerable questions to test extractive reading comprehension systems' abilities to determine when no answer is supported, resulting in a challenging natural language understanding task for existing models that previously achieved only 66% F1 on SQuAD 2.0.
extractive reading comprehension systemssquad 2.0unanswerable questionsnatural language understanding taskneural system
发现论文，激发创造
  • 未能回答问题对机器阅读理解模型鲁棒性的影响

    本文研究了使用 SQuAD 2.0 中不可回答的问题对预先训练的语言模型进行微调，以提高其对抗攻击的鲁棒性。结果表明，在 SQuAD 2.0 上进行微调可以显著提高模型的鲁棒性，并且 SQuAD 2.0 还会影响模型学习到的内容。

    Jan, 2023

  • 基于规则的开放域问答系统在 SQuAD v2.0 数据集上的设计与开发

    本研究提出了一种基于规则的开放域问答系统，可以回答来自相关上下文的任何领域的问题，使用 1000 个问题的 SQuAD 2.0 数据集测试开发的系统表现满意，同时分析了性能。

    Mar, 2022

  • FQuAD2.0：法语问答和知道你什么也不知道

    FQuAD2.0 is a new dataset that extends FQuAD with unanswerable questions, enabling the training of French Question-Answering models that can distinguish unanswerable questions from answerable ones, achieving an F1 score of 82.3% on classification and 83% on Reading Comprehension tasks with a fine-tuned CamemBERT-large model.

    Sep, 2021

  • SQuAD: 文本机器理解 10 万 + 问题

    本研究介绍了 Stanford Question Answering Dataset (SQuAD)，一种包含超过 100,000 个问题的阅读理解数据集，旨在研究回答这些问题所需要的类型推理方式，研究使用依赖和组成树建立了强大的逻辑回归模型，并在数据集上获得了 51.0% 的 F1 分数。

    Jun, 2016

  • CoQA、SQuAD 2.0 和 QuAC 的定性比较

    本文比较了三个新的问答数据集：SQuAD 2.0、QuAC 和 CoQA，在新特性（如无法回答的问题、多轮交互和摘要回答）方面进行了比较，并展示了这些数据集提供了互补性的覆盖率，但在回答的摘要方面覆盖率较弱。作者表明，由于数据集的结构相似，可以很容易地将单个选取模型适应于任何数据集，并展示了 SQuAD 2.0 和 CoQA 上的改进基线结果。尽管相似，但在一个数据集上训练的模型对另一个数据集是无效的，但我们通过预训练找到了适量的性能提升。为了鼓励交互评估，我们在此 https URL 上公开了数据集转换的代码。

    Sep, 2018

  • HeySQuAD：一个口语化问答数据集

    本研究主要介绍了一个新的基于 HeySQuAD 数据集的 SQA 系统基准测试方法，该方法使用了包含 76k 个人类口述问题和 97k 个机器生成问题的问答数据集，证明了使用转录的口述问题进行训练可以显著提高系统的性能 (12.51%)，具有很高的实践价值。

    Apr, 2023

  • 为机器阅读理解学习提问无法回答的问题

    本论文提出了一种用于机器阅读理解的数据增广技术，通过自动生成相关无法回答的问题并将其与包含答案的段落相配对，提出了一个序列模型，该模型有效地捕捉了问题和段落之间的交互。实验结果表明，该模型相对于序列到序列基线模型表现更好，同时将自动生成的无法回答的问题作为数据增广的一种方法，可以大幅提高 SQuAD 2.0 数据集上的 F1 值。

    Jun, 2019

  • 一个生成无法回答问题的轻量级方法

    一种用于问题回答的数据增强方法，通过对可回答问题进行反义词和实体交换生成不可回答的问题，相比于现有的自动化方法，该方法具有更好的模型性能和更高的人类判断相关性和可读性，并被验证为未来工作的简单但强大的基准。

    Oct, 2023

  • 用于评估阅读理解系统的对抗样本

    通过对斯坦福问答数据集（SQuAD）的对抗评估方案，测试阅读理解系统对插入的语义、语法错误的诈骗问题的正确性，从而提高模型对于语言的理解水平。

    Jul, 2017

  • 信息查询问答中的挑战：无法回答的问题和段落检索

    本文分析了预训练语言模型在信息查找问题回答方面的挑战和解决方案，包括段落选择和答案预测。作者人手对多语言数据集进行了分类和标注，在此基础上提出了未来在数据集收集和模型开发方面的研究前景。

    Oct, 2020