ICMLJun, 2018

层旋转：深层网络泛化的一个惊人而强大的指标？

PDF
TL;DR通过实验证明， 学习过程中各层权重矢量与初始值之间余弦距离的演化，是分类器效果预测的一个可靠指标， 余弦距离与准确性成正比，控制每层权重余弦距离能提高事先不知道的分类准确性并同时解释学习率调整、权重衰减和梯度优化等方法对泛化性和训练速度的影响。
layer rotationcosine distancegeneralization performancehyperparameter tuninglearning rate
发现论文，激发创造
  • 旋转优化器：简单而稳健的深度神经网络训练

    本文研究深度神经网络的训练动态，提出旋转变量优化器，通过移除传递相应收敛期可达到与原始变量优化器类似的性能，降低了对学习率热身的需求，并改善了对网络归一化不足的优化。

    May, 2023

  • 旋转您的网络：更好的权重合并和更少的灾难性遗忘

    通过重新参数化神经网络中的 Fisher 信息矩阵，结合 Elastic Weight Consolidation 技术，实现解决序列任务学习中的灾难性遗忘问题，并在 MNIST、CIFAR-100、CUB-200 和 Stanford-40 数据集上进行实验证明，我们的方法明显改善了标准 Elastic Weight Consolidation 的结果，在不遗忘的连续任务学习中达到了同等竞争水平。

    Feb, 2018

  • 训练不变量和低秩现象：超越线性网络

    本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

    Jan, 2022

  • 旋转不变逼近与学习的深度神经网络

    本研究基于树形结构探讨如何设计深度神经网络用于实现径向函数，以实现在任意高维欧几里得空间内旋转不变性的近乎最优函数逼近。结果显示，深度网络在逼近精度和学习能力方面远优于仅具有一个隐藏层的浅层神经网络，并证明了对于学习径向函数，深度网络可以实现近乎最优的学习速率，而浅层网络却不能。因此，这项研究说明深度在神经网络设计中的必要性，以实现旋转不变的目标函数。

    Apr, 2019

  • 余弦归一化：在神经网络中使用余弦相似度代替点积

    该研究探讨使用余弦相似度或中心余弦相似度（皮尔逊相关系数）来替代神经网络中点积计算，从而达到较好的正则化效果，实验结果表明，余弦正则化优于其他正则化技术。

    Feb, 2017

  • 深度网络中对称性的理解

    本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。

    Nov, 2015

  • 尺度归一化

    研究表明，保持等距性 /isometry 可以有效加速深度神经网络的训练，包括确定性和标度归一化方法。结果表明在学习开始时保持等距性很重要，保持等距性可以加速学习。

    Apr, 2016

  • 深度旋转等变网络

    作者提出了一种基于循环层、单调层和去循环层的深度旋转等变网络（Deep Rotation Equivariant Network），该网络可在滤波器层进行旋转变换，而不是特征映射层，从而显着提高了运行速度，减少了存储空间，并在 Rotated MNIST 和 CIFAR-10 数据集上证明了它能提高最优架构的性能。

    May, 2017

  • 线性连通性揭示泛化策略

    使用 MNLI、QQP 和 CoLA 三个任务的文本分类模型为研究对象，发现了线性路径上增加的损失不断增加的现象，并探究了不同模型之间的泛化策略差异与损失表面几何形状之间的关系。

    May, 2022

  • 学习卷积：一种通用的权重共享方法

    本文提出了一种学习如何转换卷积滤波器以用于群卷积的方法，通过学习滤波器基础和旋转版本，并使用一组旋转不变系数来编码滤波器，从而在 MNIST 和 CIFAR-10 数据集上实现了低输入旋转敏感度和高性能的特征映射。

    May, 2019