Jun, 2022

结合领域知识的上下文嵌入和模型加权在生物医学问答中的融合应用

PDF
TL;DR本研究提出了一种结合上下文嵌入方法、开放领域 QA 模型以及生物医学领域预训练模型 BioBERT 的生物医学问答方法，并采用无监督预训练和受监督微调的方式进行训练。实验结果表明，该方法在公共数据集 Biomrc 上相较于现有最先进系统有着显著的性能优势。
发现论文，激发创造
  • 利用实体感知屏蔽策略提高低资源生物医学问答性能

    本文提出了一种称为生物医学实体感知蒙版 (BEM) 的简单方法，以帮助受限于特定领域及其 COVID-19 文献的预训练语言模型进行微调，从而提升其生物医学问答数据集的性能。实验证明，该方法与先进模型具有相同的性能。

    Feb, 2021

  • 面向生物医学问答的神经领域自适应

    本文介绍了一种基于迁移学习技术，将神经网络模型应用在生物医学领域的事实型问答系统上的方法，通过加入生物医学文本嵌入和一种新的回答列表问题的机制来改进该系统，避免了使用昂贵的特定领域本体论、解析器或实体标注器。结果表明，该系统在事实型问题上达到了最新水平，在列表问题上取得了竞争性的结果。

    Jun, 2017

  • 生物医学问答预训练语言模型

    本文研究 BioBERT（一种预训练的生物医学语言模型）在回答生物医学问题方面的性能，结果表明使用适当的前 / 后处理策略可以获得最佳性能。

    Sep, 2019

  • 从语言模型中探测生物医学嵌入

    本文研究使用预训练的语言模型作为固定的特征提取器，并限制下游任务模型没有额外的序列建模层，探索在域内训练后的上下文词嵌入中携带的附加信息。结果发现，BioELMo 在编码实体类型和关系信息方面优于 BioBERT。

    Apr, 2019

  • 加强生物医学文本摘要与问答：领域特定预训练的效用

    生物医学摘要需要大规模数据集以训练文本生成。通过我们的研究，我们发现，虽然迁移学习是解决这一挑战的一个可行选择，但在一个 BioASQ 摘要任务中，域内预训练并不总是带来优势。我们确定了一种适合的模型架构，并使用它展示了一个通用领域预训练，并在 BioASQ 摘要任务的背景下进行任务特定的微调的好处，从而实现了一种新的三步微调方法，只需使用一千个域内示例即可。我们的结果表明，在某些特定领域的生物医学文本生成任务中，没有进行领域特定预训练的大规模语言模型可能具有明显优势。

    Jul, 2023

  • 自然语言推理在生物医学问答中的可迁移性

    本文提出了一种在生物医学问答任务中应用预训练语言模型和迁移学习的方法，并通过实验证明优化迁移学习任务的顺序可以显著提高其性能。

    Jul, 2020

  • 生物医学问答中的前 K 个相关片段检索

    我们在临床领域中通过对现有 DPR 框架的改进，从可靠的 Pubmed 文章中检索答案，使其在 BioASQ QA 数据集上的评估结果为 0.81 的 F1 得分。

    Aug, 2023

  • 生物医学问答中的领域可移植性和错误传播测量

    本论文针对 BioASQ 7 生物医学问答任务（7b 阶段 B）进行研究，探讨了于一般文本（如维基百科）上进行预训练和微调的 QA 系统的领域移植性，并分析了端到端检索和 QA 系统中的误差传播对结果的影响。结果表明，领域特定的微调可以提高生物医学 QA 的质量，但检索阶段的质量仍是质量瓶颈。

    Sep, 2019

  • BioASQ 5B 上的神经问答

    本文描述了我们在 2017 年 BioASQ 挑战赛中的参与，并重点关注生物医学问题回答技术。我们使用了一种抽取式 QA 模型，使用生物医学词向量来扩展 FastQA，并将其应用于提取输入文本片段的子字符串输出。我们将模型在大规模开放域 QA 数据集 SQuAD 上进行预训练，然后在 BioASQ 训练集上进行微调参数。通过我们的方法，我们在事实问题上实现了最先进的结果，并在列表问题上实现了有竞争力的结果。

    Jun, 2017

  • 使用知识图谱嵌入和语言模型进行生物医学多跳问答

    这篇研究论文探讨了如何使用自然语言问答，相结合的语言模型和 KG 嵌入来回答生物学家们所提出的一系列自由形式的问题，其 KG 数据集来源于 Hetionet，并利用该数据集创建一个多跳生物医学问答数据集以测试多跳生物医学问答系统。

    Nov, 2022