Jun, 2023

利用算术运算组合参数高效的模块

PDF
TL;DR本文提出了一种通过线性算术运算在权重空间中组合不同模块能力的方法，可以用于参数有效的微调方法，可用于多任务、领域泛化和熟练度淡忘等。此方法可集成不同的模块能力，无需额外培训，并可用于 Alpaca-LoRA。实验结果表明，这种方法可以显着优于现有的方法。
parameter-efficient finetuningpretrained language modelslinear arithmetic operationsmodule compositionalpaca-lora
发现论文，激发创造
  • 零样本摘要中具有参数高效层的语言和任务算术

    通过元素级算术操作组合语言和任务的参数，我们提出了一种改进的零样本跨语言迁移方法，能在使用最少 PEFT 模块训练的情况下实现一致的收益，对摘要生成任务表现出良好的效果。

    Nov, 2023

  • ComPEFT: 通过稀疏化和量化进行参数高效更新的压缩传输

    Parameter-efficient fine-tuning techniques, such as ComPEFT, compress expert models without retraining, achieving high compression ratios while preserving or enhancing model performance for efficient communication, computation, and few-shot compositional generalization.

    Nov, 2023

  • 预训练语言模型的参数高效微调方法：关键评估与考察

    预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

    Dec, 2023

  • 评估参数高效微调方法训练的参数矩阵的可移植性

    通过使用参数高效微调技术训练的模块，研究探讨了任务特定知识在不同模型之间的可移植性，发现该方法在情感分析等任务上远远优于从头开始训练或从相同分布中采样参数训练的模块。

    Jan, 2024

  • PEFT-Ref: 一种用于参数高效微调技术的模块化参考架构和分类方法

    本文提出了一个参考框架，该框架标准化了不同 PEFT 技术共享的方面，同时将差异隔离到特定位置和与标准组件的交互。通过标准化和隔离差异的过程，PEFT 技术的模块化视图出现，既支持不同技术及其效率和任务表现的直接比较，也支持不同类型的调优模块的可重用性和组合性的系统探索。我们演示了如何应用参考框架来了解 PEFT 技术的属性和相对优势，因此，可以为特定任务选择技术，并为新的 PEFT 技术设计选择。

    Apr, 2023

  • 基于低于 4 位整数量化的大规模压缩语言模型记忆高效调优

    提出了一种基于量化的参数高效微调方法 PEQA，通过一个双阶段的策略将每个全连接层的参数矩阵量化成低比特整数矩阵和标量向量，然后对每个下游任务的标量向量进行微调，从而在模型压缩和加速推理的同时，实现了快速微调和高效任务切换，并在大型语言模型上进行了全面的实验。

    May, 2023

  • Context-PEFT: 高效多模态、多任务微调

    提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过 LoRA、BitFit 和 IA3 等技术，在几乎不需要可训练参数和 GPU 内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了 Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似 LoRA 的权重注入，而不需要额外的架构修改。我们的方法在 COCO 字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。

    Dec, 2023

  • 低资源语言翻译的参数高效微调解锁

    参数高效微调方法在适应多样化任务的大规模预训练语言模型中变得越来越重要，通过在资源有限的语言机器翻译中提高翻译准确性来实现适应性和计算效率的平衡。通过使用 SacréBLEU 评分，我们进行了具备不同资源和域的全面实证实验，评估了共计 15 种架构的 8 种参数高效微调方法的性能。结果表明，6 种参数高效微调架构在域内和域外测试中均超过了基准线，其中 Houlsby+Inversion 适配器表现最佳，验证了参数高效微调方法的有效性。

    Apr, 2024

  • 多模态大语言模型参数高效微调的实证研究

    使用四种常见的 PEFT 方法对开源 MLLMs 的 LLM 组件进行微调，比较它们在参数效率方面的表现，结果显示 adapter 是效果最好的 PEFT 方法。

    Jun, 2024

  • 大型模型的参数高效微调：综合调查

    通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

    Mar, 2024