Feb, 2022

基于对抗学习的领域自适应技术提高生物医学机器阅读理解任务的能力

PDF
TL;DR本篇论文提出了一种基于对抗学习的领域适应框架，即 BioADAPT-MRC，用于解决通用域和生物医学域数据集之间的分布分歧问题，使得在不使用合成或人工注释的数据的情况下，可以实现在生物医学文本阅读理解任务中最好的性能。
biomedical machine reading comprehensionneural network-based methodadversarial learning-based domain adaptation frameworkmarginal distributionsbioadapt-mrc
发现论文，激发创造
  • 机器阅读理解的对抗性域自适应

    本研究提出了一种针对无监督域自适应机器阅读理解的方法，其中源域有大量标记数据，而目标域只有未标记数据。该方法使用敌对领域自适应框架（AdaMRC），生成虚拟问题并结合领域分类器进行压缩编码，经过对抗学习实现域不变表示学习，具有普适性、可以与预训练的大规模语言模型相结合，并可扩展到半监督学习。

    Aug, 2019

  • 机器阅读理解的稳健领域自适应

    本文提出了一种名为 RMRC 的方法，使用对话和领域自适应技术构建问题 - 答案对，通过答案提取器和问题选择器以及增强式自训练方法进行优化，从而解决机器阅读理解中因领域迁移引起的问题，包括噪声对应和效率降低，实验证明了该方法的有效性。

    Sep, 2022

  • BIOMRC: 一份用于生物医学机器阅读理解的数据集

    介绍了 BIOMRC 大规模填空式生物医学 MRC 数据集及相关实验结果，新数据集噪声更小，任务也更可行，比以前的 BIOREAD 数据集表现更好。同时，介绍了一个基于 BERT 的最佳 MRC 模型，其准确率在某些实验中甚至超过了生物医学专家，并释放了三种规模的数据集和代码。

    May, 2020

  • 知识赋能的中文医学阅读理解表征学习：任务、模型和资源

    本论文介绍了一个多目标的医疗领域机器阅读理解任务，同时提出了一个高质量的医学数据集 CMedMRC，并提出了一种医疗 BERT 模型 CMedBERT，这种模型通过异构特征的动态融合和多任务学习策略将医学知识融入到预训练的语言模型中，实验表明 CMedBERT 通过融合上下文感知和知识感知的令牌表示，始终优于强基线。

    Aug, 2020

  • 无监督域适应语言模型用于阅读理解

    本研究提出了不受监督领域自适应阅读理解（UDARC）的两种模型，其中一种采用了序列学习方法，而另一种采用了语言建模和阅读理解的多任务学习方法。研究结果表明，这些模型在不同领域的五个数据集上具有比无领域自适应模型更好的性能表现，已进一步提高了生物医学领域的 EM / F1 分数。

    Nov, 2019

  • 阅读理解的无监督域自适应

    利用条件对抗自训练方法，结合 BERT 模型和置信度过滤在目标领域中生成可靠的伪标记样本，通过条件对抗学习来减少域分布差异，从而在多个大型基准数据集上实现与监督模型相媲美的准确性。

    Nov, 2019

  • 基于演示学习的机器阅读理解下的少样本生物医学实体识别

    通过将生物医学实体识别重新定义为机器阅读理解问题，提出了一种基于演示学习的方法来改进在少样本学习场景下的模型识别生物医学实体的能力。使用六个基准数据集进行评估，结果表明 MRC 语言模型在识别生物医学实体方面比序列标注方法更为高效，并且可以与依赖大量标注数据的全监督学习方法竞争成功，为少样本生物医学实体识别方法的未来发展提供了可能的方向。

    Aug, 2023

  • 利用外部知识资源实现领域特定的理解

    通过利用知识图谱与预训练语言模型的嵌入空间相结合的方法，我们对领域特定的文本数据进行了对齐和融合，从而实现与领域特定模型相似的性能表现。

    Jan, 2024

  • 利用对抗攻击揭示机器阅读理解模型中的统计偏差

    本文研究了预训练语言模型在机器阅读理解任务中表现的问题，发现现有模型的性能存在统计偏差，提出了一种有效的攻击方法以及一种改进的训练方法来解决这个问题。

    May, 2021

  • 基于不确定性感知的固态记忆和对抗领域适应的连续机器阅读理解

    该论文提出了 MA-MRC，一种使用具有不确定性意识的固定内存和对抗领域适应的连续 MRC 模型，旨在在不访问以前见过的数据的情况下，从连续数据流中学习。实验结果表明，MA-MRC 具有显着的增量学习能力，没有灾难性遗忘在两个不同的连续 MRC 设置下。

    Aug, 2022