Feb, 2024

通过表征编辑提高微调中的参数效率

PDF
TL;DRParameter Efficient Fine-Tuning (PEFT) 方法和 Representation EDiting (RED) 方法是解决神经模型微调中的可调超参数选择和可训练参数数量减少的关键研究领域和主题，通过对多种模型进行广泛实验，证明了 RED 方法在大型神经模型中的高效性和优越性。
parameter efficient fine-tuningrepresentation editingneural modelstrainable parametershyperparameter selection
发现论文，激发创造
  • ReFT: 语言模型的表示微调

    参数高效微调方法通过少量权重的调整来适应大模型。本研究通过发展一系列表示微调方法来探索该假设，利用隐藏表示上的任务特定干预进行表示编辑，展示在多个评估中，低秩线性子空间表示微调方法可以实现比先前最先进参数高效微调方法更好的效率和性能平衡。

    Apr, 2024

  • LoRETTA：用于大型语言模型超低参数微调的低秩经济张量列车适应

    LoRETTA 是一个超参数效率的框架，通过张量列车分解显著减少可训练参数，提供高性能轻量化的支持 LLMs 微调的方法。通过权重参数化和小张量因子来实现微调，LoRETTA 在 LLaMA-2-7B 模型上可实现与大多数广泛使用的 PEFT 方法相近或更好的性能，同时参数少达到高达 100 倍。实验证明该方法有效提高训练效率，具有更好的多任务学习性能和抗过拟合能力。插拔式代码将基于 Huggingface 框架和 PEFT 库发布。

    Feb, 2024

  • 用于参数高效微调的 Mini-Ensemble 低秩适配器

    MELoRA 是一种采用较少可训练参数但保持较高秩的迷你低秩适配器，用于针对预训练大型语言模型进行性能优化的方法。实验证明，在自然语言理解和指令跟随任务上，相较于低秩适配器 LoRA，MELoRA 在拥有 8 倍较少可训练参数时表现更好，而在指令跟随任务上拥有 36 倍较少可训练参数时也表现更好，证明了 MELoRA 的有效性。

    Feb, 2024

  • 预训练语言模型的参数高效微调方法：关键评估与考察

    预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

    Dec, 2023

  • 大型模型的参数高效微调：综合调查

    通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

    Mar, 2024

  • Context-PEFT: 高效多模态、多任务微调

    提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过 LoRA、BitFit 和 IA3 等技术，在几乎不需要可训练参数和 GPU 内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了 Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似 LoRA 的权重注入，而不需要额外的架构修改。我们的方法在 COCO 字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。

    Dec, 2023

  • 从 PEFT 到 DEFT：在 Transformer 中减少激活密度的参数高效微调

    本研究提出了一种新的密度损失方法，促进预训练模型中更高的激活稀疏性，从而实现有效的模型自适应。实验证明，使用我们的方法 DEFT 在不降低下游任务性能的情况下，可以在 RoBERTa_Large 上减少激活密度达到 50.72％，在 Flan-T5_XXL（11B）上分别减少编码器密度为 53.19％，解码器密度为 90.60％，相较于使用 GLUE 和 QA（SQuAD）基准的 PEFT。我们还展示 DEFT 可以与量化和修剪模型互补使用。

    Feb, 2024

  • Light-PEFT: 轻量级参数高效微调通过早期修剪

    Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory usage, and comparable performance to standard PEFT.

    Jun, 2024

  • 参数高效微调：跨应用全面分析

    评估了 Parameter Efficient Fine-Tuning 方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。

    Apr, 2024

  • 低资源语言翻译的参数高效微调解锁

    参数高效微调方法在适应多样化任务的大规模预训练语言模型中变得越来越重要，通过在资源有限的语言机器翻译中提高翻译准确性来实现适应性和计算效率的平衡。通过使用 SacréBLEU 评分，我们进行了具备不同资源和域的全面实证实验，评估了共计 15 种架构的 8 种参数高效微调方法的性能。结果表明，6 种参数高效微调架构在域内和域外测试中均超过了基准线，其中 Houlsby+Inversion 适配器表现最佳，验证了参数高效微调方法的有效性。

    Apr, 2024