Mar, 2024

临床小蟒：横向临床记录的生成式临床语言模型

PDF
TL;DR在医学领域，为了处理长期病例的复杂信息，我们引入了经过纵向临床笔记巨量预训练的专用语言模型 ClinicalMamba，参数量为 2.8 亿，在建模扩展文本长度方面显示出比 Mamba 和临床 Llama 更优越的性能，且在纵向临床笔记信息提取任务中，通过少样本学习实现了快速而准确的成果，胜过了现有的临床语言模型和 GPT-4 等大规模通用领域模型。
natural language processinghealthcareclinical noteslanguage modellongitudinal clinical notes
发现论文，激发创造
  • 面向专家级临床笔记生成的开源大型语言模型的适应性

    在本研究中，我们展示了一个小型开源语言模型（LLMs）可以有效地从门诊患者 - 医生对话中生成高质量的临床笔记，通过包括持续预训练、监督微调和强化学习在内的综合的领域和任务特定的自适应过程。我们通过增强方法 DistillDirect，以 Gemini Pro 作为教师模型，在策略上进行了强化学习。我们的研究证明了训练较小、开源的 LLMs 以辅助临床文档编写的潜力和可行性，充分利用医疗机构对患者记录和领域专业知识的访问。

    Apr, 2024

  • 癌症 LLM：一个癌症领域的大型语言模型

    该研究提出了 CancerLLM 模型，该模型具有 70 亿个参数和 Mistral 风格的架构，预先训练了 2,676,642 份临床笔记和 515,524 份病理报告，涵盖了 17 种癌症类型，并在三个与癌症相关的任务上进行了微调，包括癌症表型提取、癌症诊断生成和癌症治疗计划生成。评估结果表明，CancerLLM 相对于其他现有的语言模型取得了最先进的结果，平均 F1 得分提高了 8.1％。此外，CancerLLM 在两个提出的鲁棒性测试中表现优于其他模型，这表明 CancerLLM 可以有效应用于临床 AI 系统，增强了癌症领域的临床研究和医疗服务。

    Jun, 2024

  • 我们是否还需要临床语言模型？

    通过实验研究表明相对较小的专业临床文本语言模型可在解析和理解电子健康记录方面显著优于大规模的综合性语言模型并且通过进行临床标记的预训练还可以实现更小、 更高效的专业化临床模型。

    Feb, 2023

  • 知识注入引导：基于大型语言模型的临床文本数据生成评估与推进

    通过结合临床领域特定知识图谱和大语言模型，在临床自然语言处理中提出了一种创新、资源高效的方法 ClinGen，通过临床知识提取和上下文信息化的大语言模型指导数据生成，持续提升性能，对生成训练实例的多样性和真实数据分布进行有效调整。

    Nov, 2023

  • 大型语言模型的临床文档动态问答

    利用大型语言模型 (LLMs) 对临床记录进行动态问答的自然语言接口引入了一种新的方法。我们的聊天机器人通过 Langchain 和基于变压器的 LLMs 实现，允许用户用自然语言查询并从临床记录中获得相关答案。经过利用各种嵌入模型和先进的 LLMs 的实验表明，Wizard Vicuna 具有更高的准确性，尽管计算需求较高。模型优化，包括重量量化，使延迟时间提高了约 48 倍。有希望的结果表明，充分利用临床记录的价值和推进基于 AI 的临床决策的发展还面临一些挑战，如模型幻觉和有限的多样化医疗案例评估。解决这些差距对于释放临床记录的价值和推进基于 AI 的临床决策具有重要意义。

    Jan, 2024

  • GatorTron：从非结构化电子病历中解锁患者信息的大型临床语言模型

    本研究构建并评估了 GatorTron，一个基于临床语言的自然语言处理大型模型，训练数据包含 90 多亿个单词，其中包括 82 多亿个去识别化的临床文本。该模型在临床概念提取、医学关系提取、语义文本相似度、自然语言推断和医学问答等 5 个临床自然语言处理任务上都表现出众，并在可伸缩性方面得到了优化。

    Feb, 2022

  • 使用大型语言模型从医生 - 患者对话中生成临床笔记：来自 MEDIQA-Chat 的见解

    本文介绍了我们在 MEDIQA-Chat 2023 共享任务中对于从医生 - 患者对话自动生成临床笔记的提交。我们报道了两种方法的结果：第一种微调共享任务数据上的预训练语言模型（PLM），第二种使用大型语言模型（LLM）进行少量样本的上下文学习（ICL）。两种方法在自动指标（如 ROUGE，BERTScore）上均实现了高性能，并分别排名共享任务的二和一位。专业人士的审查表明，通过基于 ICL 的方法和 GPT-4 生成的笔记与人工书写的笔记一样受欢迎，这使其成为从医生 - 患者对话自动生成笔记的有前途的途径。

    May, 2023

  • 基于预训练语言模型的长篇临床文本比较研究

    本研究提出了两种经过预训练的基于长序列 Transformer 模型的临床语言模型，它们能够有效地处理临床文本中的长期依赖关系，相较于传统短序列的模型，在十项基准测试任务中均取得了最先进的成果；该研究还提供了源代码和预训练的模型。

    Jan, 2023

  • LongHealth：具有长医疗文件的问答基准

    LLMs 在处理医疗保健领域的大量患者记录方面具有潜在的优势，但现有的基准测试不能充分评估 LLMs 在处理真实世界中的冗长临床数据方面的能力。通过提供包含 20 个详细虚构病例的 LongHealth 基准测试，每个案例包含 5090 至 6754 个单词，我们评估了九个开源 LLMs，并将 OpenAI 的专有成本效益高的 GPT-3.5 Turbo 作为比较。结果显示，Mixtral-8x7B-Instruct-v0.1 在从单个和多个患者文档中检索信息的任务上表现最好，但所有模型在需要识别缺失信息的任务中遇到了很大困难，强调了临床数据解释中需要改进的关键领域。然而，当前 LLMs 的准确性水平对于可靠的临床使用是不足的，尤其是在需要识别缺失信息的情景中。LongHealth 基准测试提供了在医疗保健环境中更真实的 LLMs 评估，并强调了进一步改进模型以实现安全有效的临床应用的需要。我们公开提供基准测试和评估代码。

    Jan, 2024

  • 探索长程临床笔记语言建模的最佳间隔

    本研究探讨了利用 Longformer 进行长文本的适应性训练从而更好地处理医学领域中的电子病历，实现了 10% 的 F1 值提升。研究表明提高模型对较长临床笔记的处理能力有助于提升其性能，但为达到不同的目标变量的最佳性能，需要不同的截断间隔。

    Oct, 2022