Jun, 2023

Weight Compander：一种用于正则化的简单权值重新参数化方法

PDF
TL;DR介绍了一种名为权重压缩器的新方法，用于重新参数化深度神经网络的每个权重，从而提高其泛化能力；该方法通过限制权重大小来隐式减少过拟合，同时强制权重远离零，以促进更多特征的提取并增加权重冗余，从而使网络对测试数据的统计差异不那么敏感。
regularizationdeep neural networksweight companderoverfittinghyperparameter search
发现论文，激发创造
  • 权重归一化：一种简单的重参数化方法加速深度神经网络训练

    本研究介绍了一种重量归一化方法，通过重新参数化神经网络中的权向量来改善优化问题的条件，并加速随机梯度下降的收敛速度，从而可以应用于各种模型和应用中，如 LSTMs，神经网络生成模型和深度强化学习。

    Feb, 2016

  • 参数正则化中的新视角：约束方法

    本研究提出了一种受限参数正则化（CPR）方法，与传统的权重衰减相比较，CPR 通过对单个参数组的统计度量（例如 L$_2$ 范数）施加上限，从而在学习过程中避免了显式的标量系数。通过应用增广 Lagrangian 方法解决这个约束优化问题，CPR 能够根据不同参数组实现不同的正则化强度，且在运行时没有明显的开销。通过 grokking 现象、图像分类和语言建模的实验证明了 CPR 的有效性，其在抑制 grokking 效果方面表现突出，并且始终与或超过传统权重衰减的性能表现一致。

    Nov, 2023

  • 通过权重尺度不变正则化提高神经网络的泛化性能和鲁棒性

    该研究论文介绍了一种改进神经网络正则化器的方法，该正则化器不仅能对权重衰减，还能考虑权重尺度偏移对正则化的影响，有效地限制神经网络的内在范数，并优化了对抗强度以提高泛化性能。

    Aug, 2020

  • 基于熵罚项重新参数化的可扩展模型压缩

    本文提出一种在神经网络中进行权重压缩的通用方法，利用潜变量重新调参，在学习过程中施加熵惩罚，并在训练后使用简单的算术编码器对其进行压缩，实现了模型的压缩和分类准确率的最大化。

    Jun, 2019

  • 基于正则化的深度神经网络结构中不相关参数修剪

    本研究提出了一种基于正则化技术实现学习稀疏神经拓扑结构的方法，包括对非相关权重标定、压缩优化以及迭代式意义下的参数消除。在图像分类与自然语言生成任务中进行测试，并通过数据指标达到与或优于竞争对手等表现。

    Apr, 2022

  • 基于过拟合的图像压缩的频率感知再参数化

    通过在频域进行直接优化的离散余弦变换（DCT）卷积核加权求和的重新参数化方法，在低计算成本下，通过与 L1 正则化相结合，实现了显著改善的率失真性能，从而克服了过拟合图像压缩中的权重存储问题和实用性快速收敛困难。

    Oct, 2023

  • 正则化压缩神经网络的学习

    研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

    Feb, 2018

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 深度网络压缩感知训练

    本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

    Nov, 2017

  • 现代深度学习中为什么我们需要权重衰减？

    从 ResNets 到 LLMs 的统一视角，权重衰减不是一个显式正则化器，而是以期望的方式改变训练动态。

    Oct, 2023