Nov, 2023

ComPEFT: 通过稀疏化和量化进行参数高效更新的压缩传输

PDF
TL;DRParameter-efficient fine-tuning techniques, such as ComPEFT, compress expert models without retraining, achieving high compression ratios while preserving or enhancing model performance for efficient communication, computation, and few-shot compositional generalization.
发现论文，激发创造
  • 基于低于 4 位整数量化的大规模压缩语言模型记忆高效调优

    提出了一种基于量化的参数高效微调方法 PEQA，通过一个双阶段的策略将每个全连接层的参数矩阵量化成低比特整数矩阵和标量向量，然后对每个下游任务的标量向量进行微调，从而在模型压缩和加速推理的同时，实现了快速微调和高效任务切换，并在大型语言模型上进行了全面的实验。

    May, 2023

  • 大型模型的参数高效微调：综合调查

    通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

    Mar, 2024

  • 预训练语言模型的参数高效微调方法：关键评估与考察

    预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

    Dec, 2023

  • CPET：压缩大型语言模型有效参数高效调整

    本文提出了一个基于压缩语言模型的参数有效调整框架，名为 CPET。CPET 在评估了 LLM 压缩技术对 PET 性能的影响后，介绍了知识继承和恢复策略来恢复由于这些压缩技术引起的知识丢失。实验结果表明，与原始 LLM 相比，与压缩 LLM 合作的特定任务 PET 模块可以实现可比的性能并且优于直接将基本 PET 方法应用于压缩 LLM。

    Jul, 2023

  • 多模态大语言模型参数高效微调的实证研究

    使用四种常见的 PEFT 方法对开源 MLLMs 的 LLM 组件进行微调，比较它们在参数效率方面的表现，结果显示 adapter 是效果最好的 PEFT 方法。

    Jun, 2024

  • Light-PEFT: 轻量级参数高效微调通过早期修剪

    Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory usage, and comparable performance to standard PEFT.

    Jun, 2024

  • 代码大语言模型参数高效方法的实证研究及其向 R 的知识转移

    通过实证研究 PEFT 方法（LoRA 和 Compacter）在 CodeT5 和 CodeLlama 上的表现，评估它们相较于完全微调模型的性能、是否可用于从自然语言模型到代码的知识转移，以及它们适应学习知识到一种未见语言的能力。我们的研究目标是研究 R 语言，其具有广泛的社区，而 LLMs 的适应性和较低的计算成本使其能够在缺乏大量计算资源的情况下使用，此外，研究 R 语言为使用 LLMs 于其他语言提供了新机会，我们期望得出 PEFT 方法在 R 语言的代码 LLMs 上的能力以及改进领域。

    Mar, 2024

  • 基于实证分析的 PEFT 技术在 LLM 中的优势和劣势

    本文主要介绍了大型语言模型的 fine-tuning 方法 ——parameter-efficient fine-tuning（PEFT），并通过对 FLAN-T5 模型的综合测试和分析，提出了选择 fine-tuning 技术的最佳方法，重点考虑任务类型和数据可用性，同时指出了 PEFT 方法在数据过少的情况下的收敛速度慢的问题，提出了更好的 model optimization 方法。

    Apr, 2023

  • MEFT：通过稀疏适配器实现内存高效微调

    通过使用较大的尺寸但内存高效的适配器，结合语言模型中前馈网络的固有激活稀疏性以及中央处理器内存相对于图形处理器更大的容量，我们提出了一种改进的方法来优化在有限资源下大型语言模型的微调性能。通过将较大尺寸的适配器的参数存储和更新在中央处理器上，并采用类似于专家混合 (MoE) 的架构来减少不必要的中央处理器计算和图形处理器之间的通信量，尤其是在 PCI Express (PCIe) 的有限带宽下，我们的方法可以实现与具有更大内存容量的情况下相媲美的微调结果，即使在较为有限的资源下，如只有 24GB 内存单 GPU 设置下，也能达到可接受的训练效率损失。

    Jun, 2024

  • 低资源语言翻译的参数高效微调解锁

    参数高效微调方法在适应多样化任务的大规模预训练语言模型中变得越来越重要，通过在资源有限的语言机器翻译中提高翻译准确性来实现适应性和计算效率的平衡。通过使用 SacréBLEU 评分，我们进行了具备不同资源和域的全面实证实验，评估了共计 15 种架构的 8 种参数高效微调方法的性能。结果表明，6 种参数高效微调架构在域内和域外测试中均超过了基准线，其中 Houlsby+Inversion 适配器表现最佳，验证了参数高效微调方法的有效性。

    Apr, 2024