本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。

Feb, 2019

本文探讨了基于词汇的上下文嵌入模型在临床领域的应用，发现相对于通用语料库，专业领域语料库下的 BERT 模型在三个典型的临床自然语言处理任务上表现更加出色。

Apr, 2019

本研究提出一个基于领域特定词汇上下文嵌入的临床问题、治疗和测试自动标注临床笔记的模型，使用上下文嵌入模型训练一个双向 LSTM-CRF 模型用于临床概念提取，并在 I2B2 2010 挑战数据集上进行了测试，最终性能优于现有模型 3.4%。

Oct, 2018

该研究旨在通过临床文本的预测，预防医生忽略潜在风险并帮助医院规划能力。使用语言模型分析预测诊断结果、手术、住院死亡率和住院时间。提出了临床结局预训练来整合多个公共来源的患者结局知识，并提出了一种将 ICD 编码层次结构纳入模型的简单方法，以提高模型的性能和可迁移性，同时也揭示了模型的一些缺陷。

Feb, 2021

Med-BERT 是一种基于 BERT 框架训练的语境嵌入模型，适用于在数据集较小的情况下预测疾病。通过电子病历研究心力衰竭和胰腺癌的预测，表明 Med-BERT 具有较高的准确性和泛化性能，可以大幅提升深度学习模型的性能和推广医疗人工智能的发展。

May, 2020

临床试验结果预测的多模态融合专家模型（LIFTED）通过将各种方式的数据转化为自然语言描述，再利用统一的噪声抵抗编码器提取信息，进一步利用稀疏的专家模型优化表示，通过动态集成不同方式的表示进行预测，有效提升临床试验结果预测性能。

Feb, 2024

UmlsBERT is a contextual embedding model for biomedical natural language processing that integrates domain knowledge during pre-training via a novel knowledge augmentation strategy, outperforming existing models on named-entity recognition and clinical natural language inference tasks.

Oct, 2020

本文研究使用预训练的语言模型作为固定的特征提取器，并限制下游任务模型没有额外的序列建模层，探索在域内训练后的上下文词嵌入中携带的附加信息。结果发现，BioELMo 在编码实体类型和关系信息方面优于 BioBERT。

Apr, 2019

为了优化临床试验的设计，我们提出了一种新的临床试验结果预测（CTRP）任务，并利用大规模非结构化结构的医学文献中的语句隐含地包含 PICO 和结果的证据，预训练模型在下游数据集上进行微调得到更好的表现，针对 COVID-19 的另一个数据集也验证了性能提升。

Oct, 2020

本研究基于 Transformers 预训练的语言表示学习方法，将特定医学记录中的信息提取，映射到标准词汇中，并在医院死亡预测任务中测试不同输入格式的性能，结果表明使用提取的唯一概念和标准名称作为输入可以获得更好的性能。

Jul, 2022