Apr, 2024

隐藏的协同作用：$L_1$权重归一化与1-路径-范数正则化

HTML
PDF
TL;DR提出了一种名为PSiLON Net的MLP架构，利用$L_1$权重归一化来处理每个权重向量，并在层间共享长度参数。通过简化1-path-norm并提供对高效学习和近稀疏参数的归纳偏差，设计了PSiLON Net。同时，提出了一种修剪方法来在最后阶段实现精确稀疏性。使用改进的1-path-norm作为正则化器，针对小数据环境下过参数化的PSiLON Nets和PSiLON ResNets进行实验，展示了可靠的优化和强大的性能。
发现论文，激发创造
  • 通过 $L_0$ 正则化学习稀疏神经网络

    本研究提出了一种使用稀疏性约束进行神经网络剪枝的方法，该方法通过一系列随机门来收缩网络，以便训练和预测运算可以更加快速和高效。

    Dec, 2017

  • 规范化重要性：深度神经网络中高效准确的规范化方法

    本研究提出了一种新的对归一化方法和权值衰减的目的和功能的视角，并建议了几种常用L2批归一化的替代方案，包括L1和L∞范数中的归一化，以提高计算和内存效率，并且在低精度实现中大幅提高了数值稳定性，并且还提出了一种改进重要性重归一化的方法，可以提高其在大规模任务上的性能。

    Mar, 2018

  • 通过凸对偶揭示深度神经网络的结构

    本文研究正则化深度神经网络及其隐层结构，通过凸分析框架构建问题的最优隐层权重，证明For深度ReLU网络，权重矩阵与之前的层通过对偶对齐，并给出了数据为基态或白话时的权重的解析解。同时，该研究也可以甚至适用于具有批归一化架构的深度神经网络，并给出了“神经坍塌”现象的完整解释。

    Feb, 2020

  • 浅层网络1-路径范数的高效近端映射

    研究了浅层神经网络的1-path-范数，发现它可以通过闭合形式的近端算子进行计算，且可以提供网络李普希茨常数的上界，是训练鲁棒性强的网络的有力工具。与L1-范数以及基于层的李普希茨常数的制约相比，1-path-范数的近端映射具有更好的鲁棒性-准确性平衡。

    Jul, 2020

  • ReLU网络中批归一化的解析：等价的凸优化模型与隐式正则化

    本文通过凸优化的视角分析Batch Normalization，提出了一个基于凸对偶的解析框架，可以精确地描述用Batch Normalization训练的带有权重衰减的ReLU网络，并证明在高维和过参数化情况下，理论上可以获得一些简单的解析的最优层权重和可训练的凸约束优化问题，并发现梯度下降给标准的非凸BN网络提供了算法偏差效应，通过我们的方法可以将这种隐式正则化显性编码到凸目标中，实验结果表明该方法可以模拟和显著提高标准BN网络的性能。

    Mar, 2021

  • 通过凸优化实现两层之外深度ReLU网络的全局最优

    本研究通过凸优化理论分析发现，ReLU神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。

    Oct, 2021

  • 仅调整规范层的表达能力

    本研究探讨了针对正则化层进行精调的可行性，并发现仅针对归一化层的调整能够重构任何目标网络，并验证了这一结论在过度参数化情况下仍然成立。

    Feb, 2023

  • 现代网络的路径-范数工具包：后果、承诺和挑战

    通过使用支持一般DAG ReLU网络的路径范数工具包，该研究建立了适用于现代神经网络的泛化界限，该工具包不仅可以恢复或超越已知的界限，而且还具有计算简便、对网络对称性不变以及相对于算符范数的优化尖锐度等路径范数的优点。该工具包的多功能性和易于实施性使我们能够在ImageNet上对ResNets的最尖锐的已知界限进行数值评估，从而挑战基于路径范数的泛化界限的具体承诺。

    Oct, 2023

  • 任意$p$范数的分离权重衰减

    通过桥接$L_p$正则化的权重衰减方案，提出了一个简单而有效的稀疏化方法，以应对大规模神经网络的计算和存储要求，并避免了$0<p<1$的正则化梯度发散问题，实验证明其导致高度稀疏的网络，同时保持与标准$L_2$正则化相当的泛化性能。

    Apr, 2024

  • 权重归一化的优化和泛化保证

    本研究解决了深度权重归一化模型在优化和泛化方面的理论空白。本文首次提供了权重归一化模型的优化和泛化的理论特性，特别是提出了光滑激活函数下的收敛性和一致性界限。实验结果表明，归一化项与深度神经网络的训练效果密切相关，具有重要的应用潜力。

    Sep, 2024