用于复杂结构化医疗任务的本地大型语言模型

Aug, 2023

用于复杂结构化医疗任务的本地大型语言模型

Local Large Language Models for Complex Structured Medical Tasks

V. K. Cody Bumgardner, Aaron Mullen, Sam Armstrong, Caylin Hickey, Jeff Talbert

TL;DR本论文介绍了一种将大型语言模型（LLMs）的语言推理能力与本地训练的优势相结合的方法，以解决复杂的领域特定任务。通过从病理报告中提取结构化病情编码，作者演示了他们的方法。研究结果表明，基于 LLaMA 的模型在所有评估指标上明显优于 BERT 型模型，尤其在大型数据集上表现出色，为处理复杂的多标签任务提供了可能性。这项工作提出了一种有效的方法，利用 LLMs 在易于获得的硬件上执行领域特定任务，在需要复杂数据提取和分类的医学领域具有潜在应用。

Abstract

This paper introduces an approach that combines the language reasoning capabilities of large language models (LLMs) with the benefits of local training to tackle complex, domain-specific tasks. Specifically, the authors demonstrate their approach by extracting →

large language models local training structured condition codes surgical pathology reports llama models

发现论文，激发创造

Me LLaMA: 基于大型语言模型的医疗应用基础

这项研究介绍了 Me LLaMA，这是一个医学领域的大型语言模型（LLM）家族，包括基础模型 Me LLaMA 13/70B 和增强聊天版本 Me LLaMA 13/70B-chat。通过在大型医学数据上进行持续预训练和指导调整，Me LLaMA 模型在医学任务上表现优于其他医学 LLMs，适用于医学人工智能应用。

Feb, 2024

PMC-LLaMA：在医学论文中进一步微调 LLaMA

介绍了 PMC-LLaMA, 一种在 4.8 百万篇生物医学论文上 fine-tuning 得到的语言模型，用于注入医学知识，提高在医学领域的性能，经过初步试验后在生物医学数据集上表现出更好的理解生物医学特定概念，在 QA 基准上表现出高性能。

Apr, 2023

通用到医疗应用的大型语言模型调查：数据集、方法论和评估

大型语言模型（LLMs）在各种自然语言处理任务中表现出令人惊讶的性能。最近，结合领域特定知识的医学 LLMs 在医疗咨询和诊断方面展现出卓越能力。本文系统地探讨了如何基于通用 LLMs 训练医学 LLMs，并提供了指导各种医学应用的 LLMs 发展的方法。

Jun, 2024

大型语言模型阐明人工医疗助理的进展路径：综述

通过综述大型语言模型在医学领域中的应用和意义，揭示了它们在知识检索、研究支持、临床工作流自动化和诊断辅助等方面的效用，并探索了多模态语言模型以及自动化代理在医疗保健中的发展潜力。然而，为了有效地将这些模型整合到临床实践中，需要不断优化和进行伦理监管。

Nov, 2023

医学中的大型语言模型综述

在这篇论文中，我们回顾了大型语言模型（LLMs）的发展，重点关注医学 LLMs 的需求和应用。我们提供了现有模型的简要概述，旨在探索进一步的研究方向并使其对未来医学应用产生益处。我们强调了医学 LLMs 在应用中的优势，以及其发展过程中遇到的挑战。最后，我们提出了技术整合的方向来减轻挑战，并为医学 LLMs 的未来研究方向提供了建议，旨在更好地满足医学领域的需求。

May, 2024

大型语言模型是否理解医学编码？

我们研究了大型语言模型对医疗代码的理解能力，并发现这些模型不能理解医疗代码的含义，因此需要改进医疗代码在语言模型中的表示方式。

Mar, 2024

医学中大型语言模型与多模态大型语言模型的综述

该调查论文介绍了 LLMs 和 MLLMs 的发展背景和原则，并探讨了它们在医学中的应用场景、挑战和未来方向。通过追踪从传统模型到 LLMs 和 MLLMs 的演变，概括了模型结构以提供详细的基础知识。强调 LLMs 和 MLLMs 在医疗保健中的巨大价值，调查总结了 6 个有前景的医疗应用。同时讨论了医学 LLMs 和 MLLMs 面临的挑战，并提出了将人工智能与医学进一步整合的可行方法和方向。旨在为研究人员提供一个有价值且全面的参考指南。

May, 2024

律师 LLaMA 技术报告

本文研究了如何在持续训练过程中注入领域知识以及如何设计正确的监督微调任务来帮助模型解决实际问题，在加入检索模块并提取相关文献的情况下，我们的模型可以更可靠地生成答案。

May, 2023

评估医学应用中的大型语言模型：一项调研

综述医学领域中大型语言模型评估的现状、挑战以及将其负责地整合到临床实践中所需的持续研究和创新。

May, 2024

基于基准生物医学文本处理任务的大规模语言模型全面评估

最近，大型语言模型 (LLM) 在解决各种任务方面展现了令人印象深刻的能力。然而，尽管在各种任务中取得了成功，但以前的研究尚未调查它们在生物医学领域的能力。为此，本文旨在评估 LLMs 在基准生物医学任务中的性能。为此，我们对 26 个数据集中 6 个不同生物医学任务的 4 种流行 LLMs 进行了全面评估。据我们所知，这是第一次在生物医学领域对各种 LLMs 进行广泛评估和比较。有趣的是，基于我们的评估结果我们发现，在具有较小训练集的生物医学数据集中，零次矫正的 LLMs 甚至在效果上超过了当前最先进的生物医学模型。这表明，在大型文本语料库上进行预训练使 LLMs 在生物医学领域具有了相当专业的能力。我们还发现，在所有任务中没有单个 LLM 能够胜过其他 LLMs，不同 LLMs 的性能可能会因任务而异。尽管与在大型训练集上进行精细调整的生物医学模型相比，它们的性能仍然相当差，但我们的研究结果表明，LLMs 在缺乏大规模注释数据的各种生物医学任务中具有潜在的价值工具。

Oct, 2023