ACLMay, 2020

一种软证据抽取的机器阅读理解自训练方法

PDF
TL;DR本研究提出了一种名为自学习方法的新技术，通过自动生成的证据标签迭代地监督证据提取器，从而提高了现有机器阅读理解模型的性能
machine reading comprehensionneural modelsself-training methodevidence extractorauto-generated evidence labels
发现论文，激发创造
  • 面向机器阅读理解的证据句子提取

    本研究提出一种利用深度概率逻辑学习框架提取证据句子的方法，在三个具有挑战性的多项选择机器阅读理解数据集上实现了可比较或更好的性能，为多项选择机器阅读理解提供了新的思路。

    Feb, 2019

  • 通过基于检索的预训练弥合语言模型与机器阅读理解之间的鸿沟

    使用自我监督的方法在预训练过程中引入两个任务强化证据提取，从而增强证据提取能力，以提高 Pre-trained Language Models 在机器阅读理解方面的表现。

    May, 2021

  • 使用组合性解释来教授机器理解

    本文提出了一种使用少量半结构化解释 “教” 机器阅读理解的方法，同时提取结构化变量和规则，并组成神经模块作为下游 MRC 模型的训练实例的注释，使用可学习的神经模块和软逻辑来处理语言变化并克服模型覆盖率不足。在 SQuAD 数据集上，使用 26 个解释进行监督训练，该方法实现了 70.14% 的 F1 得分，与使用 1100 个标记实例的普通监督学习相比，速度提高了 12 倍。

    May, 2020

  • U3E: 无监督和擦除基础证据提取用于机器阅读理解

    本研究提出一种无监督证据抽取方法 U3E，它利用文本中句子级特征擦除的变化作为输入，模拟人类记忆衰退造成的问题解决能力下降。通过比较实验结果表明，U3E 不仅可以更准确地抽取证据，而且还可以显著改善模型性能。

    Oct, 2022

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 多项选择阅读理解的多层次证据推理

    提出了一个新颖的通用模型增强方法，称为多粒度证据推断器（Mugen），该方法能够综合地提取粗粒度、中粒度和细粒度的证据，并将证据与原始文章整合，从而在四个多选 MRC 基准测试中实现了显著且一致的性能改进。

    Oct, 2023

  • 多任务学习中基于样本重新加权的机器阅读理解

    本研究提出了一种多任务学习框架，用于学习一个联合的机器阅读理解模型，可应用于不同领域的阅读理解任务。研究采用了样本分配权重的方法，并结合预训练语言模型（如 ELMo），在一组阅读理解数据集上实现了新的最佳效果。

    Sep, 2018

  • 多篇文档阅读理解的深度级联模型

    本研究提出一种深度串级学习模型来平衡在线问答系统的效能和效率之间的基本权衡，在多文档的 MRC 场景中取得更好的效果并能够在不到 50 毫秒内稳定地为数百万日请求提供服务。

    Nov, 2018

  • 用于评估机器阅读理解的语义修改技术

    本研究调查了最先进的机器阅读理解模型是否能够正确处理修改语义的现象，并提出了一种用于评估模型能力的新方法。对 12 种不同的神经体系结构配置和四个训练数据集进行大规模实证研究后，发现尽管这些模型在性能方面表现出色，但它们仍然难以正确处理语义上的改变。

    Dec, 2020

  • 利用多任务学习将关系知识纳入常识阅读理解

    本文提出了一种将外部关联知识与多任务学习相结合的方法，以提高机器阅读理解的效果，并在两个多选基准数据集上进行了实验，结果表明该方法在常识推理方面表现优异。

    Aug, 2019