ACLJun, 2019

MEDIQA 2019 上的双向传输：医学领域自然语言理解的多源传输学习

PDF
TL;DR本文介绍了我们参加 MEDIQA-2019 比赛的系统，我们使用多源迁移学习方法，将 MT-DNN 和 SciBERT 中的知识应用于医疗领域的自然语言理解任务中。我们采用多任务学习技术，在通用和医疗领域上进行 NLI、RQE 和 QA 任务的微调，证明了所提出的方法在医疗领域的自然语言理解任务中有效，并在 QA 任务上获得了第一名。
发现论文，激发创造
  • 自然语言推理在生物医学问答中的可迁移性

    本文提出了一种在生物医学问答任务中应用预训练语言模型和迁移学习的方法，并通过实验证明优化迁移学习任务的顺序可以显著提高其性能。

    Jul, 2020

  • WMT19：UCAM 生物医学翻译：多领域的迁移学习集成

    本研究使用迁移学习和多域集成的方法，在 2019 WMT 生物医学翻译任务中取得优秀的成果，并尝试使用自适应语言模型集成权重方案来优化模型。该模型在英西双向翻译任务中取得了最佳结果。

    Jun, 2019

  • 基于上下文表示的文本推断与问题蕴含：MEDIQA 2019 上的 Dr.Quad

    本文介绍了基于多任务目标函数的文本蕴含技术及其在医疗领域中的应用，探究了将最先进的自然语言理解模型运用于医学领域的不同策略。该研究表明通过数据增强引入领域知识是解决医学领域问题的有效策略。

    Jul, 2019

  • 基於標籤感知的雙重轉移學習用於跨專業醫學命名實體識別

    本文研究了从电子医疗记录中识别命名实体的问题，提出了一种基于标签感知的双重迁移学习框架 (La-DTL), 具有很强的跨科医疗命名实体识别的能力，实验证明该方法相比于强基线模型的表现有明显的提高，同时也展示了不局限于医学领域的命名实体识别应用前景。

    Apr, 2018

  • MEDIQA 2019：利用语言推理和问题蕴含的多任务学习进行答案过滤和重新排序的五边形模型

    本文介绍了一种在多任务设置中训练的端对端系统，使用任务特定的预训练模型作为深度特征提取器，以过滤和重新排列医学领域答案的方法来解决排名和大型文档分类等任务中输入大小限制和数据不足的问题，并在 ACL-BioNLP 研讨会 MediQA 问答共享任务上取得了 Spearman's Rho 为 0.338 和 Mean Reciprocal Rank 为 0.9622 的最高分数。

    Jul, 2019

  • 医学视觉问答的多元元模型量化

    本论文提出了一种新的多元元模型量化方法，能够有效地学习元注释和利用有意义的特征以处理医学可视问题回答任务中的数据限制问题。实验表明，该方法不需要外部数据即可训练元模型，并且在两个公共医学 VQA 数据集上得到比其他现有方法更为准确的结果。

    May, 2021

  • 采用预训练语言模型提高临床自然语言推理表现 —— 基于 MEDIQA 2019 的研究

    本文介绍了一种使用预训练语言模型和迁移学习的基于词 / 子词级别的模型，用于分析医学领域的文本，并在自然语言推理任务中取得了 90.6% 的准确率，为医学领域的模型构建提供了一些有用的信息。

    Jun, 2019

  • 临床领域自然语言推理的启示

    介绍了 MedNLI 数据集的自然语言推理任务 (NLI)，并提出了两种解决深度神经网络模型在特定领域泛化能力差的方法：利用开放域数据集进行迁移学习和结合外部数据和词汇来源的领域知识。实验结果表明，两种方法均可提高模型性能。

    Aug, 2018

  • 使用翻译增强的多语言问答转移学习

    本文探索了提高多语言问题回答的交叉语言转移性能的策略，包括使用机器翻译生成的数据来增强原始英语训练数据，以及提出两种新颖的策略：语言对抗性训练和语言仲裁框架，这些策略显著提高了零资源的交叉语言转移性能，并导致 LM 嵌入不那么语言特定的结果。经验证明，这些模型在最近推出的 multilingual MLQA 和 TyDiQA 数据集上优于以前的零 - shot 基线。

    Dec, 2020

  • 使用语言模型：将自然语言理解视为问答

    该研究针对自然语言理解问题，通过将其映射到问题回答领域，研究了特定的迁移学习方法，并显示出在低数据环境下，与其他方法相比可以带来显著的改进，特别是通过跨不同领域的 NLU 问题进行顺序转移学习可增加其收益，并可将所需数据减少高达 10 倍。

    Nov, 2020