CVPRMar, 2022

利用可解释度度量增强 SGD

PDF
TL;DR通过提出一种新的解释性指标来量化神经网络中冗余信息的质量， 并量化与优化器、网络和数据集的泛化性能高度相关的复杂度措施来增强随机梯度下降（SGD）的方法，我们提出了一种可以对深度神经网络中间层进行探索并给出量化学习质量的方法，并将其应用于 RMSGD，在应用、架构和数据集上表现出良好的泛化特性。
deep learningstochastic optimizationintermediate layersexplainability metricsgeneralization performance
发现论文，激发创造
  • 寻找可探查的泛化度量

    本文旨在探索深度神经网络泛化度量的可检测性，评估和比较探测单独层的泛化度量的有效性和鲁棒性。同时，我们介绍了一套新的训练模型和性能度量数据集 GenProb，用于测试泛化度量，模型调优算法和优化算法。

    Oct, 2021

  • 神经网络上的随机梯度下降学习越来越复杂的函数

    实验研究表明，Stochastic Gradient Descent 利用条件互信息学习了从线性分类器到逐渐复杂的函数的分类器，解释了超参数化区域中 SGD 学习的分类器为什么往往具有良好的泛化能力。

    May, 2019

  • 存在糟糕的全局最小值，并且 SGD 可以到达它们

    通过研究深度神经网络的显式正则化对随机梯度下降的作用，证实显式正则化对于高参数化的神经网络成功的贡献远比随机梯度下降方法更为重要。

    Jun, 2019

  • 通过分歧评估 SGD 的泛化能力

    该研究表明，通过在同一训练集上使用不同的 Stochastic Gradient Descent 算法训练相同结构的神经网络，并测量两个网络在无标签测试数据上的不一致率，我们可以简单地估计深度网络的测试误差。同时理论上证明了该现象产生的原因是 SGD 训练模型集成的校准状态。这不仅提供了一种简单的经验测量方法，可以直接使用无标签测试数据预测测试误差，还建立了广义上的泛化和校准之间的新概念联系。

    Jun, 2021

  • 深度学习中的隐式正则化

    本研究探讨深度学习中的泛化现象，并发现隐式正则化通过优化方法在深度学习模型的泛化和成功方面起着关键作用，我们进一步研究了不同的复杂度度量，以确保泛化并解释了优化算法如何隐含地正则化这些复杂度度量，为了更好地研究神经网络中的不变量，我们提出了复杂度度量和优化算法，并在许多学习任务上进行了评估。

    Sep, 2017

  • 评估深度神经网络解释质量的算法稳定性指标

    我们提出了两个新的用于评估解释的度量标准：平均泛化 MeGe 和相对一致性 ReCo，并发现基于 1-Lipschitz 网络的解释比基于传统神经网络的解释更具可靠性和解释性。

    Sep, 2020

  • 基于 Hessian 的 SGD 分析：深度网络的动力学和泛化

    本文通过对训练损失函数的海森矩阵及其相关量的分析，探讨了随机梯度下降（SGD）的优化动态和泛化行为等三个问题，并在合成数据、MNIST 和 CIFAR-10 数据集上进行了大量实验支持其理论结果。

    Jul, 2019

  • 在低维随机空间中提升神经网络训练

    通过应用随机投影子空间和多个独立的随机投影，重新绘制了随机子空间优化的方式，以提高大规模深度神经网络的优化效率。

    Nov, 2020

  • 深度神经网络优化轨迹上的盈亏平衡点

    本文探讨了随机梯度下降在神经网络早期训练阶段中的超参数，指出通过在初期采用大学习率可以减小梯度的方差和提高梯度的协方差矩阵的条件数，在超过 “盈亏平衡点” 之后，通过随机梯度下降法优化可以隐式地正则化损失曲面的曲率以及梯度中的噪声等问题，这对于神经网络的优化效果具有积极作用，研究这些影响对于泛化性能的影响是一个有前途的研究方向。

    Feb, 2020

  • 过参数化的两层神经网络的优化与泛化的细粒度分析

    该论文分析了一个简单的 2 层 ReLU 网络的训练和泛化，通过对相关内核的特性进行追踪，提出了更紧致的训练速度特征描述和网络大小无关的泛化界限以及对梯度下降训练的广泛平滑函数可学性的证明。

    Jan, 2019