Aug, 2022

基于不确定性感知的固态记忆和对抗领域适应的连续机器阅读理解

PDF
TL;DR该论文提出了 MA-MRC，一种使用具有不确定性意识的固定内存和对抗领域适应的连续 MRC 模型，旨在在不访问以前见过的数据的情况下，从连续数据流中学习。实验结果表明，MA-MRC 具有显着的增量学习能力，没有灾难性遗忘在两个不同的连续 MRC 设置下。
continual machine reading comprehensionma-mrcfixed memoryadversarial domain adaptationincremental learning
发现论文，激发创造
  • 机器阅读理解的对抗性域自适应

    本研究提出了一种针对无监督域自适应机器阅读理解的方法，其中源域有大量标记数据，而目标域只有未标记数据。该方法使用敌对领域自适应框架（AdaMRC），生成虚拟问题并结合领域分类器进行压缩编码，经过对抗学习实现域不变表示学习，具有普适性、可以与预训练的大规模语言模型相结合，并可扩展到半监督学习。

    Aug, 2019

  • 机器阅读理解的稳健领域自适应

    本文提出了一种名为 RMRC 的方法，使用对话和领域自适应技术构建问题 - 答案对，通过答案提取器和问题选择器以及增强式自训练方法进行优化，从而解决机器阅读理解中因领域迁移引起的问题，包括噪声对应和效率降低，实验证明了该方法的有效性。

    Sep, 2022

  • 机器阅读理解模型鲁棒性基准测试

    本文提出了一个新的基准数据集 AdvRACE，用于测试机器阅读理解模型在模拟的并非完全准确的测试环境下的鲁棒性，通过提供不同类型的对抗攻击测试，包括基于新的分散干扰的抽取和生成攻击，并表明现有的最先进模型都非常容易受到这些攻击的影响。

    Apr, 2020

  • 基于对抗学习的领域自适应技术提高生物医学机器阅读理解任务的能力

    本篇论文提出了一种基于对抗学习的领域适应框架，即 BioADAPT-MRC，用于解决通用域和生物医学域数据集之间的分布分歧问题，使得在不使用合成或人工注释的数据的情况下，可以实现在生物医学文本阅读理解任务中最好的性能。

    Feb, 2022

  • MMM：多选阅读理解的多阶段多任务学习

    本研究提出了一种名为 MMM 的基于多阶段多任务学习框架的多选阅读理解方法，其中采用了一种名为多步注意力网络 (MAN) 的新型分类器。实验证明该方法在四个代表性 MCQA 数据集上显著提高了最新技术水平。

    Oct, 2019

  • 通过了解所学来满足所需

    通过评估模型的能力，并在此基础上基于模型状态提供适当的训练数据，我们设计了一个可解释和多维度的 MRC 模型能力评估框架，并开发了 CBBC 策略，实现了基于模型能力的训练，从而最大化数据价值和提高训练效率。实验表明，我们的方法显著提高了 MRC 任务的性能，$EM/F_1$ 最高可达到 11.22%/8.71%。

    Mar, 2022

  • 双模块记忆的持续指代理解

    本文提出了 Continual Referring Expression Comprehension (CREC) 新的设置，通过 Dual Modular Memorization (DMM) 方法，不断改进模型在连续任务上的性能，避免遗忘之前学到的知识并减少重复重新训练的需求。作者在三个常用 REC 数据集上构建了新的 CREC 基准，并通过大量实验证明 DMM 方法显著优于其他方法。

    Nov, 2023

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • 在连续学习中通过动态内存缓解灾难性遗忘

    本研究介绍了一种使用动态内存来适应医学影像中不断变化的数据漂移及应对灾难性遗忘效应的机器学习算法，并在两种不同扫描协议的临床 CT 数据和合成分类任务中进行了实验验证。实验表明，动态内存能有效对抗多个数据漂移设置下的灾难性遗忘，并不需要显式的知识来识别这些漂移发生的时间。

    Jul, 2020

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023