本文提出了一种名为MedM-PLM的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30天再入院预测和ICD编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。

Jan, 2022

通过实验研究表明相对较小的专业临床文本语言模型可在解析和理解电子健康记录方面显著优于大规模的综合性语言模型并且通过进行临床标记的预训练还可以实现更小、 更高效的专业化临床模型。

Feb, 2023

本文回顾了80多个非成像电子医疗记录基础模型并创建了一个分类法以区分它们的结构、训练数据和潜在用例。作者们发现，大多数模型是在小型、局限性临床数据集（例如MIMIC-III）或广泛的公共生物医学语料库（例如PubMed）上进行训练的，并且评估任务不能提供对其对医疗系统有用性的有意义见解。基于这些发现，作者提出了一个更加贴近医疗保健重要指标的评估框架，用于衡量临床基础模型的好处。

Mar, 2023

使用大型语言模型（LLMs）结合人类专家的方法，快速生成医疗文本注释的地面真实标签，从而减少人工注释负担并保持高准确性，为医疗健康领域的定制自然语言处理（NLP）解决方案提供了潜力。

Dec, 2023

使用大型语言模型（LLMs）进行医疗领域各种任务的工具和解决方案的使用日益增多，然而在这个高度关键和敏感的领域中，它们的稳健性以及所生成结果的可信度已经引起重要的问题。本研究通过构建基于ICD-10-CM代码描述的文本数据集来回答这些问题，该代码广泛应用于美国医院并包含许多临床术语及其易于复述。然后，我们对现有的嵌入模型进行了基准测试，无论是专门针对临床领域的模型还是通用模型，在一个语义搜索任务中，目标是将复述文本正确匹配到原始描述。我们的结果表明，通用模型的表现优于临床模型，这表明现有的临床专门模型更加敏感于输入的微小变化，从而使它们感到困惑。临床专门模型的突出问题可能是因为它们在训练时数据不够充分，特别是在没有足够多样化的数据集进行全局语言理解的情况下，而这对于准确处理医疗文档仍然是必要的。

Jan, 2024

大型语言模型在医疗保健领域的部署引发了热情和忧虑，本综述论文探讨了针对医疗保健应用设计的现有大型语言模型的功能，从传统的预训练语言模型到目前的医疗保健领域的大型语言模型发展轨迹，特别关注临床语言理解任务的潜力以及性能评估、挑战和限制。

Dec, 2023

针对结构化长期电子健康记录 (EHR) 数据与大型语言模型 (LLMs) 集成时的固有复杂性，本研究调查了像 GPT-4 这样的LLMs 对 EHR 数据的适应性。特别关注其零样本能力，使其能够在并未明确训练的情况下进行预测。通过考虑特定的EHR特征(如单位和参考范围)，采用与临床环境相一致的上下文学习策略，我们的寻求方法能够应对 EHR 数据的纵向、稀疏和知识注入的特性。通过对 MIMIC-IV 和 TJH 数据集进行综合实验，证明了我们精心设计的提示框架下，LLMs在关键任务(如死亡率、住院天数和30天再入院率)的预测性能可以提高约35％，在少样本情景中超越了机器学习模型。我们的研究强调了LLMs在提高临床决策能力方面的潜力，尤其是在没有标签数据的紧急医疗情况下，如新发疾病的爆发。可通过此 https URL 获得代码，以便能重现研究结果。

Jan, 2024

本研究探讨了专有和本地大型语言模型在基于标记的临床实体识别中的有效性，挖掘了这些模型在零样本提示、少样本提示、检索增强生成以及指令微调等实验中面临的困难，并提出了在医疗保健领域中应用大型语言模型的可能改进方法。

Jun, 2024

本研究解决了大型语言模型（LLMs）在处理结构化电子健康记录和非结构化临床笔记时的有效性问题。通过基准测试不同模型，发现LLMs在结构化数据上的零-shot预测能力较强，但在非结构化文本任务中，微调的BERT模型表现更优。这一发现强调了根据任务要求和数据特征选择合适模型的重要性，以优化NLP技术在医疗领域的应用。

Jul, 2024

本文解决了现有医疗编码分词器仅将医疗代码视为孤立文本标记的不足，而未考虑它们的文本描述及其在本体层次中的位置和关系。通过引入MedTok，这一多模态分词器结合文本描述和关系结构，提高了医疗数据的分词效率，并在多个EHR模型上显著提升了相关任务的性能，尤其是在药物推荐领域展现出显著的改进。

Feb, 2025