Mar, 2024

开发医疗语言模型嵌入空间

PDF
TL;DR我们探索专门为不同医疗数据集调整较小的大型语言模型（LLMs）的专业预训练方法。我们通过传统的掩码语言建模、无监督文本表示的深度对比学习（DeCLUTR）以及利用医疗设置中的元数据类别的新型预训练目标进行了评估。对每个数据集进行了对下游文档分类任务的评估，并分析了生成的嵌入空间。对比训练的模型在分类任务上表现优于其他方法，以有限的标记数据实现了强大性能，并且所需的模型参数更新更少。虽然基于元数据的预训练无法进一步改进数据集上的分类，但它提供了有趣的嵌入簇可分离性。所有领域适应的 LLMs 在性能上均优于公开可用的通用基础 LLM，验证了领域专业化的重要性。这项研究展示了在有限的计算预算下将医疗能力注入紧凑的 LLMs 的高效方法，这是在本地医疗环境中负责任和可持续部署的关键能力。我们提供专门针对医疗 LLMs 的预训练指南，推动对对比目标的持续研究，并演示了将小型 LLMs 与涉及隐私敏感的医疗任务保持一致的适应技术。
large language modelshealthcarepre-trainingdocument classificationembedding spaces
发现论文，激发创造
  • 医疗领域中的大型语言模型：综述

    大型语言模型在医疗保健领域的部署引发了热情和忧虑，本综述论文探讨了针对医疗保健应用设计的现有大型语言模型的功能，从传统的预训练语言模型到目前的医疗保健领域的大型语言模型发展轨迹，特别关注临床语言理解任务的潜力以及性能评估、挑战和限制。

    Dec, 2023

  • 医疗大语言模型综述：从数据、技术和应用到问责与伦理

    大型语言模型在医疗领域的利用引发了劲头和担忧，本文概述了目前开发的大型语言模型在医疗保健方面的能力，并阐明它们的发展过程，旨在提供从传统预训练语言模型（PLMs）到大型语言模型（LLMs）的发展路线图的概览。总的来说，我们认为正在进行一次重大的范式转变，从 PLMs 过渡到 LLMs，这包括从辨别式人工智能方法向生成式人工智能方法的转变，以及从以模型为中心的方法论向以数据为中心的方法论的转变。

    Oct, 2023

  • 我们是否还需要临床语言模型？

    通过实验研究表明相对较小的专业临床文本语言模型可在解析和理解电子健康记录方面显著优于大规模的综合性语言模型并且通过进行临床标记的预训练还可以实现更小、 更高效的专业化临床模型。

    Feb, 2023

  • 通用嵌入模型在短上下文临床语义搜索中的表现优于专门嵌入模型

    使用大型语言模型（LLMs）进行医疗领域各种任务的工具和解决方案的使用日益增多，然而在这个高度关键和敏感的领域中，它们的稳健性以及所生成结果的可信度已经引起重要的问题。本研究通过构建基于 ICD-10-CM 代码描述的文本数据集来回答这些问题，该代码广泛应用于美国医院并包含许多临床术语及其易于复述。然后，我们对现有的嵌入模型进行了基准测试，无论是专门针对临床领域的模型还是通用模型，在一个语义搜索任务中，目标是将复述文本正确匹配到原始描述。我们的结果表明，通用模型的表现优于临床模型，这表明现有的临床专门模型更加敏感于输入的微小变化，从而使它们感到困惑。临床专门模型的突出问题可能是因为它们在训练时数据不够充分，特别是在没有足够多样化的数据集进行全局语言理解的情况下，而这对于准确处理医疗文档仍然是必要的。

    Jan, 2024

  • 通用到医疗应用的大型语言模型调查：数据集、方法论和评估

    大型语言模型（LLMs）在各种自然语言处理任务中表现出令人惊讶的性能。最近，结合领域特定知识的医学 LLMs 在医疗咨询和诊断方面展现出卓越能力。本文系统地探讨了如何基于通用 LLMs 训练医学 LLMs，并提供了指导各种医学应用的 LLMs 发展的方法。

    Jun, 2024

  • 临床文本的神经机器翻译：多语前训练语言模型和迁移学习的实证研究

    通过研究多语言神经网络模型，使用深度学习，如基于 Transformer 的结构，我们在临床文本机器翻译方面进行了调查。此外，为了解决语言资源不平衡问题，我们还使用基于大规模多语言预训练语言模型（MMPLMs）的迁移学习方法进行了实验。在临床案例（CC）、临床术语（CT）和本体概念（OC）等三个子任务上的实验结果表明，我们的模型在 ClinSpEn-2022 共享任务中的英语 - 西班牙语临床领域数据中表现出了最佳水平。此外，基于专家评估的人工评估结果显示，小型预训练语言模型（PLM）在临床领域微调中以大幅度优于其他两个超大型语言模型，这是该领域前所未有的发现。最后，迁移学习方法在我们的实验设置中运行良好，使用 WMT21fb 模型适应了预训练阶段在 WMT21fb 中未见的西班牙语语言空间，这值得进一步探索临床知识转化方面，例如研究更多语言。这些研究结果可以为特定领域的机器翻译开发提供一些启示，尤其是在临床和医疗领域。在我们的工作基础上可以开展进一步的研究项目，以改进医疗文本分析和知识转化。

    Dec, 2023

  • 医疗领域中的大型语言模型：一项综合基准评估

    评估医疗领域中多样化的大型语言模型在七个任务和十三个数据集上的综合性能

    Apr, 2024

  • 利用 NLP 技术增强医疗科室对患者的分配

    通过使用关键词训练一个深度学习架构，我们提出了一个不需要预训练与微调，可以直接应用于特定环境进行多标签分类的方法，该方法在文本分类中显著提高了性能，是一种有潜力的替代传统方法的有效选择，并在各种医学领域具有潜在应用。

    Dec, 2023

  • 使用公共社交媒体数据评估大型语言模型在健康相关文本分类任务中的性能

    我们评估了多种模型，包括传统机器学习模型、预训练语言模型和大型语言模型，比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明，使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果，并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。

    Mar, 2024

  • 大型语言模型准备好应用于医疗保健了吗？临床语言理解的比较研究

    本研究通过对临床语言理解任务的全面评估和引入一种新的提示策略 —— 自问自答提示（SQP），来提高大型语言模型 (GPT-3.5、GPT-4 和 Bard) 在医疗相关任务中的性能，同时还提供了有关挑战性关系抽取任务误差分布和潜在改进方法的有价值洞察。此项研究为之后的研究和开发医疗应用奠定了基础。

    Apr, 2023