Apr, 2024

隐藏的协同作用：$L_1$ 权重归一化与 1 - 路径 - 范数正则化

PDF
TL;DR提出了一种名为 PSiLON Net 的 MLP 架构，利用 $L_1$ 权重归一化来处理每个权重向量，并在层间共享长度参数。通过简化 1-path-norm 并提供对高效学习和近稀疏参数的归纳偏差，设计了 PSiLON Net。同时，提出了一种修剪方法来在最后阶段实现精确稀疏性。使用改进的 1-path-norm 作为正则化器，针对小数据环境下过参数化的 PSiLON Nets 和 PSiLON ResNets 进行实验，展示了可靠的优化和强大的性能。
发现论文，激发创造
  • 浅层网络 1 - 路径范数的高效近端映射

    研究了浅层神经网络的 1-path - 范数，发现它可以通过闭合形式的近端算子进行计算，且可以提供网络李普希茨常数的上界，是训练鲁棒性强的网络的有力工具。与 L1 - 范数以及基于层的李普希茨常数的制约相比，1-path - 范数的近端映射具有更好的鲁棒性 - 准确性平衡。

    Jul, 2020

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 通过 $L_0$ 正则化学习稀疏神经网络

    本研究提出了一种使用稀疏性约束进行神经网络剪枝的方法，该方法通过一系列随机门来收缩网络，以便训练和预测运算可以更加快速和高效。

    Dec, 2017

  • 具有有界权重范数的多通道线性卷积网络的归纳偏置

    本研究通过实验对基于梯度下降的线性和 ReLU 网络的隐式正则化进行了探讨，并提供了卷积神经网络，$\ell_2$ 规范、归纳偏置、规范化器和梯度下降等方面的理论研究。

    Feb, 2021

  • Lipschitz 神经网络的动力学系统视角

    本研究通过连续时间动力系统的视角，提出了一种通用方法以构建 1-Lipschitz 神经网络，并证明了之前的一些方法是该框架的特殊情况。实验表明，该方法在几种数据集上具有可扩展性和作为 l2 检测攻击的优点。

    Oct, 2021

  • 神经网络是凸正则化器：两层神经网络的精确多项式时间凸优化公式

    本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带 $l_1$ 正则化的线性模型。

    Feb, 2020

  • 通过强制利普希茨连续性来正则化神经网络

    研究神经网络与输入的 Lipschitz 连续性约束，提供一种计算前馈神经网络 Lipschitz 常数上界的简单技术，进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解，实验证明该方法优于其他常用规则化器，特别是在仅有少量训练数据时。

    Apr, 2018

  • 标准化神经网络的自动优化

    利用矩阵流形的几何性质，我们提出了一种自动优化方法，对神经网络的归一化参数进行优化。通过层次化的权重归一化以限制利普希茨常数并增强梯度的可靠性，使训练后的网络适用于控制应用。通过初始化网络和根据初始化网络的 2-2 增益对数据进行归一化，我们的方法首先对网络进行初始化。然后，所提出的算法基于高维球面上的指数映射来进行更新。给定一个更新方向（如负内腔梯度），我们提出了两种不同的方式来确定下降的步长。第一种算法利用目标函数沿着组合球面流形上定义的更新曲线进行的自动微分。利用方向二阶导数信息，无需显式构造海森矩阵。第二种算法利用架构感知的主导次数极小化框架进行神经网络的优化。通过这些新进展，所提出的方法避免了手动调优和学习率的调度，从而为优化归一化神经网络提供了自动化的流程。

    Dec, 2023

  • 在 CIFAR-10 和 CIFAR-100 上提高的确定性 L2 鲁棒性

    通过放宽网络最后一层的正交化约束，证明了 1-Lipschitz CNN 的鲁棒性，此外还引入了新的梯度规范化激活函数和证明规则，有效提高了 CIFAR 数据集上的准确率。

    Aug, 2021

  • CNN 层的大范数不会损害对抗鲁棒性

    通过对 2D 多通道卷积层的理论分析，提出了规范化方法 norm decay，它可以有效地降低卷积层和全连接层的范数，并证明了在一定条件下，可以使用神经网络实现对抗性强度分类器，并且在提高通用性方面具有改进效果，但可能对攻击鲁棒性有轻微影响。

    Sep, 2020