本研究提出了两种经过预训练的基于长序列 Transformer 模型的临床语言模型，它们能够有效地处理临床文本中的长期依赖关系，相较于传统短序列的模型，在十项基准测试任务中均取得了最先进的成果；该研究还提供了源代码和预训练的模型。

Jan, 2023

在本研究中，我们采用八个大型语言模型，在六个数据集和四个不同的摘要任务（放射学报告、患者问题、进展记录和医生 - 患者对话）上应用领域适应方法，系统评估了它们的效果，而且展示出最佳适应的大型语言模型的摘要相较于人工摘要在完整性和正确性方面更可取。此外，我们还将传统的自然语言处理指标与医生评分进行了相关性分析，以提高对这些指标与医生喜好的理解。最终，我们的研究证明了大型语言模型在多个临床文本摘要任务中超越人工专家，这意味着将大型语言模型整合到临床工作流程中可以减轻文档负担，使临床医生能够更多关注个性化患者护理和其他医学中不可替代的人工环节。

Sep, 2023

本论文通过研究 MIMIC-III 数据集中的病历笔记，提出了一个基于自然语言处理模型的框架，通过挑选预测能力高的笔记部分来实现有效的信息提取，并在不同类型的笔记结合时提高了模型的性能。

Jul, 2023

通过收集来自台湾医院数据库的五年电子健康记录，该研究提出了一个新颖的大型语言多模型（LLMMs）框架，将临床笔记和实验室检测结果的多模态数据结合起来预测慢性疾病风险，观察到将 clinicalBERT 和 PubMed-BERT 与注意力融合相结合可以在多类慢性疾病和糖尿病预测中达到 73% 的准确率，将实验室检测值转化为文本描述后，利用 Flan T-5 模型可以达到 76% 的 ROC 曲线下面积（AUROC），从而显著提高了糖尿病早期预测的准确性。

Mar, 2024

本研究旨在探究如何利用医疗自然语言处理技术，将临床文本与结构化临床数据相结合，建立多模态神经网络模型，实现对重症监护室患者住院死亡风险的预测。研究结果显示，相较于基准模型，本模型的 AUC 值提高了 2%。

Nov, 2018

本文通过使用领域专有词汇和大规模临床训练语料库，使用双向编码器解码器（BERT）模型对医疗语言推理任务进行分析和评估，与公共基准任务上同等规模的公开可用的最佳生物医学语言模型相比，我们的模型表现相同，并且在使用 UCSF 数据的两个任务的系统内评估中优于这些模型，但需要进一步的研究来提高缩写、数字、时间和隐含因果推理的准确性。

Oct, 2022

该研究旨在通过临床文本的预测，预防医生忽略潜在风险并帮助医院规划能力。使用语言模型分析预测诊断结果、手术、住院死亡率和住院时间。提出了临床结局预训练来整合多个公共来源的患者结局知识，并提出了一种将 ICD 编码层次结构纳入模型的简单方法，以提高模型的性能和可迁移性，同时也揭示了模型的一些缺陷。

Feb, 2021

本文使用双向转换器（ClinicalBERT）开发和评估了临床笔记的表示方法，该方法发现了医学概念之间的高质量关系，并在 30 天医院再入院预测方面优于基线，使用的数据为出院小结和重症监护室的前几天的笔记。

Apr, 2019

本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

Aug, 2022

利用临床数据训练的大型语言模型在医疗保健领域提供了优化患者护理、临床决策和工作流程的新机会，然而其潜力主要取决于其在不同临床环境和患者群体中有效泛化的能力，这是一个常常被低估的挑战。本研究评估了一种在 [HOSPITAL] 的临床病历上训练的语言模型的性能，并发现其在少样本的医院、政府和未指定保险的患者、老年人以及多重共病者中的泛化能力较差。通过统计和分类分析，我们发现样本大小、患者年龄、共病程度和病历内容的字数都与泛化能力相关。最后，我们比较了三种方法以提高泛化能力：本地微调（针对特定医院）、实例化增强微调、和基于聚类的微调。结果表明，本地微调是最有效的方法，可以使 AUC 提高 0.25% 到 11.74%（在数据有限的情况下效果最好）。总体来说，本研究为在医疗保健这一重要领域部署大型语言模型提供了新的见解，并改进了它们在更广泛人群中的性能。

Feb, 2024