Sep, 2022

机器阅读理解的稳健领域自适应

PDF
TL;DR本文提出了一种名为 RMRC 的方法，使用对话和领域自适应技术构建问题 - 答案对，通过答案提取器和问题选择器以及增强式自训练方法进行优化，从而解决机器阅读理解中因领域迁移引起的问题，包括噪声对应和效率降低，实验证明了该方法的有效性。
domain adaptationmachine reading comprehensionquestion-answer pairsdialoguereinforced self-training
发现论文，激发创造
  • 机器阅读理解的对抗性域自适应

    本研究提出了一种针对无监督域自适应机器阅读理解的方法，其中源域有大量标记数据，而目标域只有未标记数据。该方法使用敌对领域自适应框架（AdaMRC），生成虚拟问题并结合领域分类器进行压缩编码，经过对抗学习实现域不变表示学习，具有普适性、可以与预训练的大规模语言模型相结合，并可扩展到半监督学习。

    Aug, 2019

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • 基于对抗学习的领域自适应技术提高生物医学机器阅读理解任务的能力

    本篇论文提出了一种基于对抗学习的领域适应框架，即 BioADAPT-MRC，用于解决通用域和生物医学域数据集之间的分布分歧问题，使得在不使用合成或人工注释的数据的情况下，可以实现在生物医学文本阅读理解任务中最好的性能。

    Feb, 2022

  • 带信息搜索代理的交互式机器阅读理解

    通过重新设计现有的机器阅读理解数据集，将其转化为互动、部分可观察的环境，加入上下文命令并训练模型，有望将模型扩展到面向 Web 级别的 QA 场景。

    Aug, 2019

  • COVID-19 端到端问答：通过合成训练实现领域自适应

    本文探讨了如何通过合成的问答数据来提高封闭领域检索和机器阅读理解的性能，实验结果表明将神经信息检索系统和机器阅读理解系统组合后，在 CORD-19 数据集上相比于基准开放领域问答系统，有显著的改进。

    Dec, 2020

  • 基于不确定性感知的固态记忆和对抗领域适应的连续机器阅读理解

    该论文提出了 MA-MRC，一种使用具有不确定性意识的固定内存和对抗领域适应的连续 MRC 模型，旨在在不访问以前见过的数据的情况下，从连续数据流中学习。实验结果表明，MA-MRC 具有显着的增量学习能力，没有灾难性遗忘在两个不同的连续 MRC 设置下。

    Aug, 2022

  • 使用话语解析的多任务对话理解

    提出了一个用于多方对话机器阅读理解 (MRC) 的多任务模型，结合问答 (QA) 和话语解析 (DP) 任务，在 Molweni 基准测试中证明了多任务训练不仅受益于 QA 任务，也有助于 DP 任务，当处理更长的对话时，联合模型表现得更强，验证了 DP 在相关 MRC 中的必要性。

    Oct, 2021

  • 无监督域适应语言模型用于阅读理解

    本研究提出了不受监督领域自适应阅读理解（UDARC）的两种模型，其中一种采用了序列学习方法，而另一种采用了语言建模和阅读理解的多任务学习方法。研究结果表明，这些模型在不同领域的五个数据集上具有比无领域自适应模型更好的性能表现，已进一步提高了生物医学领域的 EM / F1 分数。

    Nov, 2019

  • 评估机器阅读理解模型对低资源实体重命名的鲁棒性

    本研究旨在探究机器阅读理解模型对命名实体重命名的鲁棒性，尤其是对低资源地区如非洲的实体。通过创建一个被重命名的数据集 AfriSQuAD2 来测试模型的鲁棒性，并发现大模型相对于基础模型表现更好，而人类实体类型则高度挑战 MRC 模型的性能。

    Apr, 2023

  • 迁移学习增强的单选决策用于多选题答题

    该研究论文以多选机器阅读理解为主题，使用预训练语言模型作为编码器，并通过微调来分享和传递知识。通过训练二元分类，将多选问题转换为单选问题，并选择置信度最高的选项作为最终答案。通过从其他 MRC 任务转移知识，提出的方法摆脱了多选框架，并可以利用其他任务的资源。在 RACE 和 DREAM 数据集上评估基于 ALBERT-xxlarge 模型构建的模型，实验结果表明该模型在多选方法上表现更好，并且通过从其他类型 MRC 任务转移知识，该模型在单个和集合设置中都取得了最先进的结果。

    Apr, 2024