May, 2023

通过权重残差的低阶逼近实现精调模型的高效存储

PDF
TL;DR通过权重残差的低秩特性，本文提出了一种高效的存储 fine-tuned 模型的方法，称为 Efficient Residual Encoding（ERE），通过低秩权重残差的逼近来实现 fine-tuned 模型权重的高效存储，并通过使用额外的量化和分层秩分配来分析权重残差的健壮性并推进存储效率上限。实验结果表明，ERE 方法在各种任务和模态下显着减少内存占用并保持性能，代码已发布。
fine-tuned modelslow-rank propertiesefficient residual encodingquantizationmemory footprint
发现论文，激发创造
  • ResidualTransformer：采用权重共享的残差低秩学习的 Transformer 层

    通过重新参数化模型权重，将 Transformer 编码器层中的模型权重缩小，可以降低模型大小，减轻设备内存的压力，并在语音处理任务上取得了显著的性能改进。

    Oct, 2023

  • 低秩重缩放视觉转换器微调：一种残差设计方法

    利用奇异值分解对预训练参数矩阵进行精细调整的高效参数微调方法提供了对现有方法调整动态的洞察，通过残差设计确保新参数不会过度偏离预训练模型，实验结果表明，这种方法在各种下游图像分类任务中实现了竞争性的性能，并且保持了可比较的新参数。

    Mar, 2024

  • 通过近似正交约束的鲁棒低秩训练

    介绍了一种在保证模型精度的情况下，同时降低深度学习中推理和训练成本，并通过基于神经网络条件数的模型稳健性表明低秩矩阵分解（low-rank matrix factorizations）容易导致模型鲁棒性的问题，提出了一种基于鲁棒低秩矩阵训练的算法，通过施加近似正交约束，保证了低秩表示与近似完整的模型之间精度。通过实验证明降低深度学习模型中推理和训练成本的同时，提高了模型的鲁棒性。

    Jun, 2023

  • 针对联邦学习的黎曼低秩模型压缩与空中聚合

    本文提出了一种新颖的低秩模型压缩的流形优化公式，其不需要放松低秩约束，并介绍了一种共识惩罚来支持 OTA 聚合。基于我们的优化公式，我们提出了一种交替黎曼优化算法，具有有效的 OTA 聚合，同时不会影响训练性能。在真实世界的数据集方面进行了实验，在各个最先进的基线上展示了我们提出的黎曼低秩模型压缩方案的有效性。

    Jun, 2023

  • 基于低秩和稀疏逼近的大型语言模型的结构化压缩

    本文提出了一种新颖的模型压缩技术 LoSparse，该技术通过低秩矩阵和稀疏矩阵的加和来近似一个权重矩阵，结合了低秩逼近和剪枝的优点，避免了它们的局限性，在自然语言理解、问答和生成等任务中，它显著优于现有的压缩方法。

    Jun, 2023

  • PELA: 学习具有低秩近似的参数高效模型

    通过引入中间的预训练阶段，我们提出了一种新方法来增加预训练模型的参数效率，该方法通过低秩逼近来压缩原始的大模型，并设计了特征蒸馏模块和权重扰动正则化模块，以增强低秩模型。这种方法在保持基本架构的最小修改的同时，在所需参数和计算时间方面同时实现了效率，通常将原始参数大小减少 1/3 至 2/3，并降低约 0.6 个性能点。

    Oct, 2023

  • LQER: 低秩量化误差重建法用于 LLMs

    本研究提出了一种通过低秩近似和量化相结合的方法，使用激活引起的比例矩阵将量化误差的奇异值分布调整到理想值，实现了在各种大型语言模型和相关任务上几乎无失真的 W4A8 量化，而无需知识蒸馏、网格搜索或基于梯度的迭代优化，并且与现有方法相比，计算模式中的 LQER 消除了从不规则内存位置收集高精度权重所需的专用 Scatter 和 Gather 过程，从而在六个热门任务上实现了接近无失真性能，同时使用的硬件资源比领先的最先进方法少 1.36 倍。

    Feb, 2024

  • 通过随机化实现少量 RAM 的大规模学习

    采用随机化分离技术，将权重向量投影到粗离散集上，从而将流行的大规模在线学习方法的内存占用量降低 50% 以上；采用随机计数可以实现每个坐标单独的学习速率，具有很好的内存性能表现。这些内存节省方法的效果与精确的变体相当，且实验证明这些方法在内存与精度的权衡方面具有出色的性能。

    Mar, 2013

  • 高效深度神经网络的训练排名剪枝

    本文提出了一种名为 TRP 的低秩逼近和正则化相结合的训练方法，用于在边缘设备上进行深度神经网络的图像分类任务，并在 CIFAR-10 和 ImageNet 数据集上进行了广泛评估，结果表明相比于之前的低秩逼近压缩方法取得了更好的性能。

    Dec, 2018

  • 通过加权重新训练，在深度生成模型的潜在空间中实现高样本效率的优化

    提出了一种利用深度生成模型进行优化的方法，通过周期性地在优化轨迹中重新训练生成模型并根据目标函数值加权来有效地提高样本效率和性能。

    Jun, 2020