本文介绍了一种基于迁移学习技术，将神经网络模型应用在生物医学领域的事实型问答系统上的方法，通过加入生物医学文本嵌入和一种新的回答列表问题的机制来改进该系统，避免了使用昂贵的特定领域本体论、解析器或实体标注器。结果表明，该系统在事实型问题上达到了最新水平，在列表问题上取得了竞争性的结果。

Jun, 2017

生物医学摘要需要大规模数据集以训练文本生成。通过我们的研究，我们发现，虽然迁移学习是解决这一挑战的一个可行选择，但在一个 BioASQ 摘要任务中，域内预训练并不总是带来优势。我们确定了一种适合的模型架构，并使用它展示了一个通用领域预训练，并在 BioASQ 摘要任务的背景下进行任务特定的微调的好处，从而实现了一种新的三步微调方法，只需使用一千个域内示例即可。我们的结果表明，在某些特定领域的生物医学文本生成任务中，没有进行领域特定预训练的大规模语言模型可能具有明显优势。

Jul, 2023

本文提出了一种在生物医学问答任务中应用预训练语言模型和迁移学习的方法，并通过实验证明优化迁移学习任务的顺序可以显著提高其性能。

Jul, 2020

本研究提出了一种结合上下文嵌入方法、开放领域 QA 模型以及生物医学领域预训练模型 BioBERT 的生物医学问答方法，并采用无监督预训练和受监督微调的方式进行训练。实验结果表明，该方法在公共数据集 Biomrc 上相较于现有最先进系统有着显著的性能优势。

Jun, 2022

本文介绍了基于目标域文本的 Word2Vec 的训练和对齐策略，用于适应已有的预训练语言模型，并在生物医学实体识别任务和 Covid-19 问答任务上取得了 60% 的 BioBERT-BERT F1 差距的覆盖率，且成本仅相当于 BioBERT 的 5% 的 CO2 排放和 2% 的云计算成本。

Apr, 2020

本文描述了我们在 2017 年 BioASQ 挑战赛中的参与，并重点关注生物医学问题回答技术。我们使用了一种抽取式 QA 模型，使用生物医学词向量来扩展 FastQA，并将其应用于提取输入文本片段的子字符串输出。我们将模型在大规模开放域 QA 数据集 SQuAD 上进行预训练，然后在 BioASQ 训练集上进行微调参数。通过我们的方法，我们在事实问题上实现了最先进的结果，并在列表问题上实现了有竞争力的结果。

Jun, 2017

本文探讨了如何通过合成的问答数据来提高封闭领域检索和机器阅读理解的性能，实验结果表明将神经信息检索系统和机器阅读理解系统组合后，在 CORD-19 数据集上相比于基准开放领域问答系统，有显著的改进。

Dec, 2020

本文提出了一种称为生物医学实体感知蒙版 (BEM) 的简单方法，以帮助受限于特定领域及其 COVID-19 文献的预训练语言模型进行微调，从而提升其生物医学问答数据集的性能。实验证明，该方法与先进模型具有相同的性能。

Feb, 2021

我们在临床领域中通过对现有 DPR 框架的改进，从可靠的 Pubmed 文章中检索答案，使其在 BioASQ QA 数据集上的评估结果为 0.81 的 F1 得分。

Aug, 2023

使用仅源侧数据进行微调的训练方法在机器翻译中取得了巨大的进展，通过结合 BERTScore 和 Masked Language Model 评分的损失函数，我们的模型在 BLEU 得分上达到了 1.9 的改进，并在 TER 和 BLEURT 度量上取得了显着的改进。

Oct, 2023