ACLMay, 2019

MultiQA：阅读理解中泛化和迁移的实证研究

PDF
TL;DR本文研究阅读理解（RC）数据集之间的通用性和现有数据集对提高新数据集表现的贡献，使用 Bert 等上下文表示方法，证明在一个或多个数据集上训练，并在目标数据集上进行转移学习可以显著提高 RC 表现，同时发现在多个来源 RC 数据集上训练可以降低新 RC 数据集的示例收集成本，并提出了基于 MultiQA 的模型，取得了五个 RC 数据集的最先进的表现。
发现论文，激发创造
  • MRQA 2019 共享任务：阅读理解通用性评估

    在 Machine Reading for Question Answering (MRQA) 2019 shared task 中，我们通过将 18 个不同的 question answering 数据集调整并统一格式来评估阅读理解系统的泛化能力。参赛的 10 个团队尝试了不同的想法，如数据采样、多任务学习、对抗训练和集成学习等，在 12 个被隐藏的测试数据集上，最好的系统平均 F1 分数为 72.5，比基于 BERT 的初始得分高了 10.7 个绝对点。

    Oct, 2019

  • 问答数据集让模型学到了什么？

    本文通过评估五个数据集上的基于 BERT 的模型来研究模型是否从问答数据集中学习阅读理解，发现没有一个数据集能够具备全部实验的鲁棒性，并且发现了数据集和评估方法的不足，最后建议构建更好的 QA 数据集以评估阅读理解任务的问答能力。

    Apr, 2020

  • ComplexWebQuestions 数据集的重新分区

    通过 ComplexWebQuestions 训练阅读理解模型，无法防止训练集中的泄漏，但是构建新的数据集划分可以解决这个问题，并将其公开发布，使用训练数据训练 RC 模型可显著提高现有技术水平。

    Jul, 2018

  • 阅读理解的无监督域自适应

    利用条件对抗自训练方法，结合 BERT 模型和置信度过滤在目标领域中生成可靠的伪标记样本，通过条件对抗学习来减少域分布差异，从而在多个大型基准数据集上实现与监督模型相媲美的准确性。

    Nov, 2019

  • 利用外部知识资源实现领域特定的理解

    通过利用知识图谱与预训练语言模型的嵌入空间相结合的方法，我们对领域特定的文本数据进行了对齐和融合，从而实现与领域特定模型相似的性能表现。

    Jan, 2024

  • 超越只能阅读英语：零样本多语种传递在保加利亚语中的实验

    研究了在英文大规模数据集中预训练的多语言 BERT Fine-Tuning 在保加利亚语阅读理解中的效果，构建了一个新的包含历史、生物、地理和哲学等学科的 12 年级毕业考试和 412 个在线历史测验问题的数据集，并利用不同的索引和预训练策略进行实验，评估结果表明，准确率为 42.23％，大大超过了基线水平 24.89％。

    Aug, 2019

  • 问答领域的有监督和无监督迁移学习

    本文探究了迁移学习在问题回答方面的应用，使用两种问题回答模型，在 TOEFL 和 MCTest 数据集上通过简单的迁移学习技术从 MovieQA 数据集中学到的知识显著提高了性能，尤其是其中一种模型在所有目标数据集上取得了最佳效果，对于 TOEFL 听力理解测试，它的性能比以前的最佳模型提高了 7%。最后，我们证明了即使在目标 QA 数据集示例的正确答案不可用的无监督情况下，迁移学习也是有帮助的。

    Nov, 2017

  • 多风格生成阅读理解

    本研究提出了一种名为 Masque 的多风格抽象化摘要模型，该模型关注于从问题和多个文本段落中生成摘要，以涵盖现实世界应用所需的各种答案风格，并通过将多风格答案学习到一个模型中来提高自然语言生成能力，实验表明该模型在多个任务中的表现都达到了最新的最好水平。

    Jan, 2019

  • 面向推理的阅读理解：ParallelQA

    探讨了端到端神经机器阅读理解模型倾向于匹配浅层模式而非推理，同时提出了利用平行语段来进行参照推理问题的 ParallelQA 策略，并证明了现有神经模型在此设置中无法很好地泛化。

    May, 2018

  • 阅读理解中多轮推理策略的经验分析

    通过使用最先进的 RC 模型，我们对单回合和多回合推理在 SQuAD 和 MS MARCO 数据集上的表现进行了实证研究，发现多回合推理优于单回合推理，启用灵活的回合次数通常优于固定的多回合策略，并且特别有助于具有冗长描述性答案的问题。

    Nov, 2017