Mar, 2024

大型模型的参数高效微调：综合调查

PDF
TL;DR通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。
发现论文，激发创造
  • 参数高效微调：跨应用全面分析

    评估了 Parameter Efficient Fine-Tuning 方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。

    Apr, 2024

  • 预训练语言模型的参数高效微调方法：关键评估与考察

    预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

    Dec, 2023

  • 预训练视觉模型的参数高效微调：一项调查

    规模化预训练视觉模型（PVMs）在各种下游视觉任务中表现出很大的适应性。然而，随着最先进的 PVMs 达到数十亿甚至数万亿参数，传统的完全微调范式变得难以持续，因为其需要巨大的计算和存储需求。为了应对这一挑战，研究人员正在探索参数高效的微调（PEFT），旨在通过最小的参数修改超越完全微调的性能。本调查提供了对视觉 PEFT 的综合概述和未来方向，对最新的进展进行了系统回顾。首先，我们提供了 PEFT 的正式定义，并讨论了模型预训练方法。然后，我们将现有方法分为三类：基于添加的、基于部分的和基于统一的。最后，我们介绍了常用的数据集和应用，并提出了未来研究的潜在挑战。所有相关资源可以在该链接中找到。

    Feb, 2024

  • 面向更高参数效率的大语言模型微调：一篇立场论文

    该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新 PEFT 架构、不同学习设置的 PEFT、结合模型压缩技术的 PEFT 以及多模态 LLMs 的 PEFT 探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕 LLMs 的更高效和可访问的 PEFT 的讨论。

    Nov, 2023

  • 软件工程任务中参数高效微调的综合评估

    基于预训练模型的参数高效调整方法在软件工程领域的效果与效率的全面评估研究。

    Dec, 2023

  • AutoPEFT: 参数高效微调自动配置搜索

    本文介绍了一个名为 AutoPEFT 的框架，通过高维贝叶斯优化自动配置多个 PEFT 模块，控制并最大化性能和参数效率之间的平衡，实现对于性能和参数节约的优化，表现要优于现有的 PEFT 方法，高于标准 GLUE 基准上的平均值，并且在单个任务上进行配置搜索，AutoPEFT 即使优于全模型微调。

    Jan, 2023

  • 参数高效迁移学习在机器翻译中的适用条件

    本文通过全面实证研究发现，适当的 Tuning 数量的 Parameter-efficient fine-tuning methods，特别是使用了嵌入小型前馈神经网络 (adapters) 的模型，可以在机器翻译 (MT) 任务上达到效果与全模型调整类似的水平，尤其当参数预算为 10％的情况下。但是，当调优参数数量减少时，PEFT 的性能会随之减弱，这一降低幅度取决于语言对的关系，而对于小型数据集，PEFT 的性能优于同样的预训练模型的全模型调整。

    May, 2022

  • 基于实证分析的 PEFT 技术在 LLM 中的优势和劣势

    本文主要介绍了大型语言模型的 fine-tuning 方法 ——parameter-efficient fine-tuning（PEFT），并通过对 FLAN-T5 模型的综合测试和分析，提出了选择 fine-tuning 技术的最佳方法，重点考虑任务类型和数据可用性，同时指出了 PEFT 方法在数据过少的情况下的收敛速度慢的问题，提出了更好的 model optimization 方法。

    Apr, 2023

  • 医学图像分析的参数高效微调：错过的机会

    本文首次全面评估 Parameter-Efficient Fine-Tuning (PEFT) 技术对不同医学图像分析任务的适用性，通过超过 600 个控制实验，研究并比较了 16 种不同的 PEFT 方法，解决了 PEFT 技术在基础模型中的应用问题，展示了在某些情况下的高达 22% 的表现提高，并证明了 PEFT 对于医学图像识别和文本到图像生成具有实际应用价值。

    May, 2023

  • 低资源语言翻译的参数高效微调解锁

    参数高效微调方法在适应多样化任务的大规模预训练语言模型中变得越来越重要，通过在资源有限的语言机器翻译中提高翻译准确性来实现适应性和计算效率的平衡。通过使用 SacréBLEU 评分，我们进行了具备不同资源和域的全面实证实验，评估了共计 15 种架构的 8 种参数高效微调方法的性能。结果表明，6 种参数高效微调架构在域内和域外测试中均超过了基准线，其中 Houlsby+Inversion 适配器表现最佳，验证了参数高效微调方法的有效性。

    Apr, 2024