本研究提出了一种结合上下文嵌入方法、开放领域 QA 模型以及生物医学领域预训练模型 BioBERT 的生物医学问答方法，并采用无监督预训练和受监督微调的方式进行训练。实验结果表明，该方法在公共数据集 Biomrc 上相较于现有最先进系统有着显著的性能优势。

Jun, 2022

本文通过在医学百科全书段落中以疾病名称预测为重点的 Masked Language Modeling 方法，提高了医学多项选择题回答准确率；本文还展示了基于生成的 MCQA 数据集的 fine-tuning 方法胜过基于 MLM 的方法，并且正确遮盖答案线索对于良好表现非常关键。我们发布了新的预训练数据集，并在 4 个 MCQA 数据集上实现了最新最好的结果，在 MedQA-USMLE 上基础型号效果提高了 5.7%。

Mar, 2023

通过训练遮盖策略，从而在中间预训练阶段将任务相关知识封装到语言模型的参数中，该方法在 TriviaQA 上的表现优于强启发式方法，而用于 BART 的表现则更为强大。

Dec, 2020

本文介绍了基于目标域文本的 Word2Vec 的训练和对齐策略，用于适应已有的预训练语言模型，并在生物医学实体识别任务和 Covid-19 问答任务上取得了 60% 的 BioBERT-BERT F1 差距的覆盖率，且成本仅相当于 BioBERT 的 5% 的 CO2 排放和 2% 的云计算成本。

Apr, 2020

Biomedical entity linking is improved using BioELQA, a model that treats it as multiple choice question answering, capturing fine-grained interactions and addressing challenges with long-tailed entities.

Feb, 2024

提出 KeBioLM 这一生物医学语言 pretrained language model，该模型明确利用了来自 UMLS UMLS knowledge bases 知识库的知识，取得了名词实体识别和关系提取的不错效果。

Apr, 2021

通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

Jul, 2023

研究探讨了弱监督和数据增强在训练深度神经网络问答模型中的作用，利用结构化文摘和信息检索算法 BM25 生成标签，通过信息检索技术和词汇数据库增强训练数据，应用课程学习进行领域自适应和逐步微调问答模型来回答关于 COVID-19 的问题。

Sep, 2023

通过全面的实证评估，我们表明在生物医学文本中，受监督的微调方法仍然相关且比通用性的大型语言模型更有效，如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。

Apr, 2024

本文介绍了一种基于迁移学习技术，将神经网络模型应用在生物医学领域的事实型问答系统上的方法，通过加入生物医学文本嵌入和一种新的回答列表问题的机制来改进该系统，避免了使用昂贵的特定领域本体论、解析器或实体标注器。结果表明，该系统在事实型问题上达到了最新水平，在列表问题上取得了竞争性的结果。

Jun, 2017