通过对临床记录进行语义学分析，可以帮助精确地提取出患者的病情，进而为医疗决策和医疗档案二次利用提供支持；本研究探索了几种基于 BERT 模型的病情提取机制，避免了传统的手工规则的繁琐操作，实验结果表明这种机制在病情识别上具有较高的性能，可适用于医学领域的实际应用。

Oct, 2019

本文提出了一个基于本体和弱监督的方法，使用最近的 BERT 上下文表示进行文本表型处理，该方法可用于从临床笔记中识别出以往难以识别的罕见疾病的患者角色，无须领域专家的注释数据，可提高不少于 30% 至 50% 的精确度。

May, 2022

该研究旨在对从医疗文件中提取的数值进行分类，涵盖了七个不同的生理类别，采用了 CamemBERT-bio 模型。为了提升 CamemBERT-bio 的性能，我们引入了两个主要创新：将关键词嵌入到模型中，并采用了一种排除所有数值数据的无数值策略。此外，我们还使用一种简单的方法来确定提取的数值数据的重要性，这涉及验证数值是否落在既定标准范围内。鼓舞人心的发现表明，CamemBERT-bio 的效果得到了显著改善，F1 得分达到了 0.89，超过传统方法的 0.73 F1 得分的 20％以上，并且超过现有方法的 0.82 F1 得分的 9％以上。尽管使用的是小规模和不平衡的训练数据集，我们也取得了这些成果。

May, 2024

本研究提出了一个自我监督的预训练方法，利用浅层匹配的数据进行训练，能够检测出上下文同义词，该方法在稀疏多类设置（超过 15,000 个概念）中应用于从电子病历中提取表观信息，并通过数据增强技术解决类稀疏问题，实现了无监督表观概念注释的新 SOTA，精度和召回率的增益分别高达 4.5 和 4.0 个点，表明模型表现优异。经过少量标注数据的微调后，该模型在 BioBERT 和 ClinicalBERT 之上表现更出色，并且外部评估在三个 ICU 基准测试中也显示出使用我们的模型注释的表型作为特征的益处。

Sep, 2021

我们开发了一种基于联邦自然语言处理的方法，能够利用来自不同医院或诊所的临床笔记，改进特定临床任务的质量，并促进整个医疗保健系统的知识进步。这是联邦机器学习在临床自然语言处理中的第一次应用。

Aug, 2019

临床深度表型化和本体概念建模在罕见疾病患者的诊断和护理协调计划中起着重要作用。本研究使用大型语言模型评估了最新的生成预训练变压器模型在临床深度表型化的性能，结果表明这些模型在临床环境中的使用存在问题。

Sep, 2023

本文研究了深度学习技术在自然语言处理中是否可以有效用于患者表型特征提取和预测，并与传统 NLP 方法进行比较。结果表明，卷积神经网络是一种性能优良且易解释的深度学习方法，可以有效提高患者表型预测的性能，降低注释复杂度，并自动学习与每个患者表型相关的短语。

Mar, 2017

文章综述了自然语言处理在电子健康记录领域的应用，重点介绍了计算表型学方法，包括基于关键词搜索和基于规则的系统等算法，以及监督式机器学习模型、深度学习和非监督式学习等最近受到关注的算法。同时文章指出在病历中特征关系的处理、模型可解释性和推广性等方面仍有待解决的问题。

Jun, 2018

在这项研究中，使用临床自然语言处理技术解决了识别和映射标准术语的问题。提出了一种用于提取临床文本中关键概念的 TF-IDF 快捷方法，并使用基于 transformer 的模型设计了两种下游任务，结果表明 SciBERT 模型在结合提出的方法时具有优越性，并为临床笔记的关键短语提取提供了洞察。

Mar, 2023

本研究通过乳腺癌表型提取任务，评估了基于 BERT 的临床自然语言处理模型在不同临床设置下的普适性。结果表明，CancerBERT 模型具有最佳的学习能力和普适性，并且模型的普适性与样本之间的相似度有关。

Mar, 2023