Sep, 2023

张量化神经网络的高效有限初始化

PDF
TL;DR我们提出了一种新颖的方法，用于以一种避免参数爆炸的方式初始化张量化神经网络的层。该方法适用于节点数量很高的层，其中与大多数节点的输入或输出存在连接。该方法的核心是使用该层的 Frobenius 范数的迭代部分形式，以使其保持在有限范围内。本文将该方法应用于不同的层并检查其性能，并创建了一个在任意层上运行的 Python 函数，可以在 i3BQuantum 存储库的 Jupyter Notebook 中找到。
发现论文，激发创造
  • 分解神经层的初始化和正则化

    研究深度学习中出现的因子化层，并探讨如何通过谱初始化和 Frobenius 衰减来改善它们的性能，并在模型压缩和知识蒸馏领域进行了实验。

    May, 2021

  • 用于低秩神经网络的非线性初始化方法

    我们提出了一种新的低秩初始化框架，用于训练低秩深度神经网络，证明了这种方法在 ReLU 网络中的有效性，并使用此方法训练了 ResNet 和 EfficientNet 模型。

    Feb, 2022

  • 标准化神经网络的自动优化

    利用矩阵流形的几何性质，我们提出了一种自动优化方法，对神经网络的归一化参数进行优化。通过层次化的权重归一化以限制利普希茨常数并增强梯度的可靠性，使训练后的网络适用于控制应用。通过初始化网络和根据初始化网络的 2-2 增益对数据进行归一化，我们的方法首先对网络进行初始化。然后，所提出的算法基于高维球面上的指数映射来进行更新。给定一个更新方向（如负内腔梯度），我们提出了两种不同的方式来确定下降的步长。第一种算法利用目标函数沿着组合球面流形上定义的更新曲线进行的自动微分。利用方向二阶导数信息，无需显式构造海森矩阵。第二种算法利用架构感知的主导次数极小化框架进行神经网络的优化。通过这些新进展，所提出的方法避免了手动调优和学习率的调度，从而为优化归一化神经网络提供了自动化的流程。

    Dec, 2023

  • 张量化神经网络

    本论文研究了如何使用 Tensor Train 格式转换全连接层的矩阵从而减少深度神经网络的参数数量和计算量，试验结论表明该方法可以将全连接层的参数压缩两百万倍，对整个网络的压缩比可达 7 倍。

    Sep, 2015

  • 只需一个良好的初始化

    提出了层顺序单元方差（LSUV）初始化 —— 一种用于深度学习网络权重初始化的简单方法，它包括两个步骤：使用正交矩阵预初始化每个卷积或内积层的权重，然后从第一层到最后一层，将每一层输出的方差标准化为 1。研究表明，该初始化方法使学习非常深的神经网络成为可能，其表现至少不逊于专门为此设计的复杂方案，并能在 MNIST、CIFAR-10/100 和 ImageNet 等数据集上实现接近最新水平的性能。

    Nov, 2015

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 关于激活和标准化对于初始情况下获得等距嵌入的影响

    该论文探讨了深度神经网络中的 Gram 矩阵结构，在多层感知器中给出了层归一化与激活层一起导致 Gram 矩阵趋向等距的证明，进一步阐明了高阶 Hermite 系数在此方面的重要性。

    May, 2023

  • 矩阵和线性映射的 Frobenius 型范数和内积及其在神经网络训练中的应用

    该研究通过对线性映射或矩阵的 Frobenius norm 和内积进行了深入研究，确定了它们与定义域和值域空间内积的依赖关系，并表明经典的 Frobenius norm 只是更一般的 Frobenius-type norms 中的一个特例。该发现提供了额外的自由，可以用于神经网络训练的预处理等方面。

    Nov, 2023

  • 通过强制利普希茨连续性来正则化神经网络

    研究神经网络与输入的 Lipschitz 连续性约束，提供一种计算前馈神经网络 Lipschitz 常数上界的简单技术，进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解，实验证明该方法优于其他常用规则化器，特别是在仅有少量训练数据时。

    Apr, 2018

  • 图神经网络的初始化

    对图神经网络 (GNN) 的初始化方法进行研究，提出了一种新的初始化方法 Virgo，通过考虑激活函数、隐藏维度、图结构和信息传递等因素，减少了方差不稳定性，提高了模型性能。

    Dec, 2023