介绍了PMC-LLaMA, 一种在4.8百万篇生物医学论文上fine-tuning得到的语言模型, 用于注入医学知识, 提高在医学领域的性能, 经过初步试验后在生物医学数据集上表现出更好的理解生物医学特定概念, 在QA基准上表现出高性能。

Apr, 2023

本文介绍了一种名为“Low Rank Adaptation”的PEFT方法，并在临床对话摘要任务中展示了其评估结果，这种方法与端到端的调优效果相当。

Jul, 2023

我们提出了一种新颖的用于多任务医疗应用的参数高效微调框架MOELoRA，通过MOE和LoRA的统一，利用多个专家作为可训练参数，并为各种任务生成不同的参数，以解决医疗场景中任务多样性和微调成本高昂的问题。我们的实验证明，MOELoRA优于现有的参数高效微调方法。

Oct, 2023

对不同规模的模型以及临床决策任务的适用性进行研究，揭示大型语言模型的效果与Parameter Efficient Fine-tuning方法的关系，发现LoRA方法在各项任务和模型规模下都能保持较高的性能，专用模型在速度和训练成本上具有优越性，与大型基础语言模型相比效果更好，同时探讨了领域特定预训练与PEFT方法和模型规模之间的相互影响，以及提供最佳效率与性能平衡的因素。

Feb, 2024

这项研究介绍了Me LLaMA，这是一个医学领域的大型语言模型（LLM）家族，包括基础模型Me LLaMA 13/70B和增强聊天版本Me LLaMA 13/70B-chat。通过在大型医学数据上进行持续预训练和指导调整，Me LLaMA模型在医学任务上表现优于其他医学LLMs，适用于医学人工智能应用。

Feb, 2024

通过对大型语言模型（LLMs）的精确调整和创新的参数高效微调（PEFT）方法的研究实验，本研究探讨了大型模型的微调方法对医疗领域的多模态模型的影响，并发展了最有效的医疗VLP模型微调方式，以指导医疗领域研究人员优化VLM的训练成本，促进其在医疗保健领域的更广泛应用。

Mar, 2024

通过合并使用三元组和语言建模目标单独进行微调的适配器，提出了一种用于改进大型语言模型（LLMs）一致性的PEFT方法。然而，与GPT-4相比，我们的新方法在忠实度和一致性方面没有产生更准确的结果。综合三个度量指标，GPT-4在比赛中以0.8328的分数并列第一。最后，通过与GPT-4的污染分析，表明没有测试数据泄露。

Mar, 2024

该研究对两种主要的微调方法——全参数微调和参数高效微调——在医学大型语言模型（LLM）领域进行了全面的分析和比较。通过开发和优化一系列基于Llama-2架构的医学LLM，从而提升医学知识检索、推理和问答的能力，我们系统地评估了这些微调策略在各种知名医学基准测试上的有效性。值得注意的是，我们的医学LLM Med42在美国医学执照考试（USMLE）数据集上表现出了72%的准确率，为公开可用的医学LLM性能树立了新的标准。通过这种比较分析，我们旨在找到医学领域LLM微调的最有效和高效方法，从而在推动以人工智能驱动的医疗应用方面做出重大贡献。

Apr, 2024

本研究解决了在数据有限的情况下，微调大型语言模型（LLMs）进行临床自然语言处理的挑战。研究表明，尽管不同的适配器结构（如GRN）被测试，简单的基于Transformer的模型在资源受限环境下表现更佳，并且可以有效达到临床笔记分类的需求。GRN适配器结构在准确率、精确率、召回率和F1分数方面表现优越，提供了一种在低资源环境中进行临床NLP任务的可行解决方案。

Jul, 2024

本研究解决了将大型语言模型应用于临床的有效性问题，探讨了持续预训练、指令微调、NEFTune和提示工程四种技术的适应性。研究发现，持续预训练虽然在超过2500亿标记时改善幅度有限，但为指令微调奠定了坚实基础，而NEFTune则意外地在基准测试中表现出额外提升，推动了临床领域模型性能的优化。

Sep, 2024