Feb, 2024

EBFT: 有效和块级的稀疏 LLMs 微调

PDF
TL;DR我们提出了一种基于最小化重构误差的高效快速稀疏 LLMs 微调框架，通过采样小数据集进行校准，并利用反向传播逐块优化重构误差，从而获得最佳解决方案。我们在各种基准测试中进行了广泛实验，始终证明我们的方法优于其他基准线。
fine-tuningsparse llmsreconstruction erroriterative optimizationperplexity
发现论文，激发创造
  • 大规模语言模型的稀疏微调扩展

    大型语言模型 (Large Language Models) 在指令或人类反馈方面很难进行全面的微调，但参数高效稀疏微调 (sparse fine-tuning) 的方法已经在性能上取得了一定的成果，本文将稀疏微调方法扩展到像 LLaMA 2 7B 和 13B 这样的最先进的 LLMs，实验证明对指令调整进行稀疏微调通常比流行的参数高效微调方法如 LoRA 表现更好，并且在运行时间上可比较。

    Jan, 2024

  • 无需训练的动态稀疏化：针对稀疏长模型的零训练微调

    基于 Dynamic Sparse No Training (DSnoT) 的训练无关的微调方法，能够有效地提高稀疏语言模型的性能，并开拓了将稀疏性应用于大型语言模型的潜力。

    Oct, 2023

  • 大型语言模型微调中的稀疏矩阵

    通过选择稀疏子矩阵以减少计算资源开销和内存消耗，我们介绍了一种名为 Sparse Matrix Tuning (SMT) 的方法，用于填补参数有效微调（PEFT）与完全微调（FT）之间的性能差距，并在多个任务中展示了其超越了其他 PEFT 的基准方法（如 LoRA 和 DoRA），同时与 FT 相比，GPU 内存占用减少了 67%。

    May, 2024

  • 精调预训练大型语言模型中的稀疏是足够的

    通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

    Dec, 2023

  • 大语言模型推理加速的稀疏微调

    我们研究了大型语言模型的精确稀疏微调问题，通过引入稀疏权重在专门的任务上微调预训练的语言模型。我们提出了一种称为 SquareHead 的基于 L2 范数的蒸馏方法，能够在高稀疏率下实现准确恢复，并展示了稀疏语言模型在 CPU 和 GPU 执行中的速度提升。

    Oct, 2023

  • QFT：量子化的低资源 LLM 全参数调整

    提出了一种名为 QFT 的新型量化全参数调优框架，可以实现内存高效调优而不损害性能。该框架采用高效的 Lion 优化器和整数值量化的模型状态存储方法，并提供了梯度流和参数更新方案。结果表明，QFT 将模型状态内存减少到标准解决方案的 21%，同时达到可比较的性能，例如，调优 LLaMA-7B 模型仅需 30GB 内存，一张 A6000 GPU 即可满足。

    Oct, 2023

  • BESA：使用块级参数高效稀疏分配对大型语言模型进行剪枝

    本论文提出了一种名为 BESA 的新颖大型语言模型修剪技术，通过施加分块重构损失来减少整体修剪误差并以可微分方式分配层特定的稀疏性，从而确保修剪后的模型性能降低程度减少，实验结果表明 BESA 在仅五小时内能够高效地修剪带有 70B 参数的 LLMs，达到了最先进的性能水平。

    Feb, 2024

  • 大语言模型的贝叶斯低秩适应

    使用 Laplace-LoRA 方法，对参数高效微调的大型语言模型进行贝叶斯方法，提高模型的校准性。

    Aug, 2023

  • 无需增加延迟的参数高效微调

    本文提出了一种任务不可知的生成稀疏掩码的方法，仅使用预训练参数的振幅信息，可以显著提高性能和存储效率，并引入了一种新颖的适配器技术，可以直接应用于预训练参数，与全细调速度相同。

    May, 2023

  • PEFTT: 低资源藏语预训练语言模型的参数高效微调

    我们进行了针对藏语（一种低资源语言）的有效微调策略研究，包括信息提示微调、轻量级适配器微调和信息提示微调 + 适配器微调，实验证明这些方法在预训练模型中显著提高了效果，为提升藏语应用提供了有价值的见解。

    Sep, 2023