对不同规模的模型以及临床决策任务的适用性进行研究，揭示大型语言模型的效果与 Parameter Efficient Fine-tuning 方法的关系，发现 LoRA 方法在各项任务和模型规模下都能保持较高的性能，专用模型在速度和训练成本上具有优越性，与大型基础语言模型相比效果更好，同时探讨了领域特定预训练与 PEFT 方法和模型规模之间的相互影响，以及提供最佳效率与性能平衡的因素。

Feb, 2024

本文首次全面评估 Parameter-Efficient Fine-Tuning (PEFT) 技术对不同医学图像分析任务的适用性，通过超过 600 个控制实验，研究并比较了 16 种不同的 PEFT 方法，解决了 PEFT 技术在基础模型中的应用问题，展示了在某些情况下的高达 22% 的表现提高，并证明了 PEFT 对于医学图像识别和文本到图像生成具有实际应用价值。

May, 2023

通过有选择地微调部分参数以降低计算需求，提出了一种在临床领域中适应预训练语言模型的方法，并通过与 Downstream LLaMA-LoRA 相结合，在多个临床预测任务上取得了最先进的 AUROC 得分提升，并在大规模多标签分类任务中观察到 6-9% 的 AUROC 得分改善。

Jul, 2023

通过合并使用三元组和语言建模目标单独进行微调的适配器，提出了一种用于改进大型语言模型（LLMs）一致性的 PEFT 方法。然而，与 GPT-4 相比，我们的新方法在忠实度和一致性方面没有产生更准确的结果。综合三个度量指标，GPT-4 在比赛中以 0.8328 的分数并列第一。最后，通过与 GPT-4 的污染分析，表明没有测试数据泄露。

Mar, 2024

通过应用参数高效微调（Parameter-efficient fine-tuning）方法于胸部放射学基础模型上，研究表明该方法在少于 1% 的可调参数下，比完全参数微调（full-parameter fine-tuning）方法在 18 个迁移学习任务中有更好的性能，在 NIH ChestX-ray14 数据集上获得了 80.6% 的 AUROC 分数，希望引起社区对于在医学成像任务中使用参数高效微调方法的更多关注。

Jan, 2024

通过引入查询依赖的参数高效微调方法，本文提出了一种文本重新排序的方法，通过泄漏真实查询信息给大型语言模型以使其更容易从输入文档中生成真实查询，从而进一步提高重新排序性能。

Apr, 2024

该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新 PEFT 架构、不同学习设置的 PEFT、结合模型压缩技术的 PEFT 以及多模态 LLMs 的 PEFT 探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕 LLMs 的更高效和可访问的 PEFT 的讨论。

Nov, 2023

使用四种常见的 PEFT 方法对开源 MLLMs 的 LLM 组件进行微调，比较它们在参数效率方面的表现，结果显示 adapter 是效果最好的 PEFT 方法。

Jun, 2024

通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

Mar, 2024

参数高效微调方法在适应多样化任务的大规模预训练语言模型中变得越来越重要，通过在资源有限的语言机器翻译中提高翻译准确性来实现适应性和计算效率的平衡。通过使用 SacréBLEU 评分，我们进行了具备不同资源和域的全面实证实验，评估了共计 15 种架构的 8 种参数高效微调方法的性能。结果表明，6 种参数高效微调架构在域内和域外测试中均超过了基准线，其中 Houlsby+Inversion 适配器表现最佳，验证了参数高效微调方法的有效性。

Apr, 2024