Apr, 2020

梯度集中：一种深度神经网络新的优化技术

PDF
TL;DR本文提出了一种新型优化方案 —— 梯度集中（Gradient Centralization，GC），通过将梯度向量集中到零均值来优化神经网络训练，这可以被视为一种具有约束损失函数的投影梯度下降法，实验证明它能够显著优化深度神经网络的泛化能力、提高训练效率和稳定性。
optimization techniquesgradient centralizationdeep neural networkstraining performancelipschitzness
发现论文，激发创造
  • 广义批量归一化：加速深度神经网络

    提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

    Dec, 2018

  • 分类边界的分布：所有数据是否平等？

    通过对深度神经网络上梯度下降算法的实证研究发现，通过训练集中带宽分布曲线的曲线下面积来量化模型的泛化性能是更精确的方法，并且在加入批量规范化和权重衰减的情况下得到的训练点会收敛到同一个渐近边界，但其高容量特征并不一致。

    Jul, 2021

  • 无批归一化训练深度神经网络

    本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

    Aug, 2020

  • 深度网络中的动力学和泛化理论 III

    本研究通过分析深度神经网络的梯度下降技术实现，提出了控制网络复杂度的隐含规范化方法，并将其归纳为梯度下降算法的内在偏差，说明这种方法可以解决深度学习中过拟合的问题。

    Mar, 2019

  • DeeperGCN：训练深度 GCN 所需的全部

    本文提出了一种名为 DeeperGCN 的新型 Graph Convolutional Networks，它有效地解决了深度较大的 GCNs 存在的梯度消失、过度平滑和过度拟合等问题，实现了对大规模图数据的成功且可靠的训练，并在 Open Graph Benchmark (OGB) 上进行的实验证明其在节点属性预测和图形属性预测的大规模图形学习任务中比现有技术有显著提高。

    Jun, 2020

  • 惩罚梯度范数以有效提高深度学习的推广性能

    本文提出通过附加惩罚损失函数的梯度范数来提高深度神经网络的泛化性能，使用我们的方法可以改善不同数据集上的各种模型的泛化性能，并且最佳情况下可在这些任务上提供新的最先进性能。

    Feb, 2022

  • 规则化的高斯牛顿方法优化超参数化神经网络

    研究了使用广义高斯 - 牛顿优化方法优化具有显式正则化的双层神经网络，通过考虑常用目标函数中惩罚项的光滑近似来提供自适应学习率选择技术，数值实验结果突出了广义自共轭正则化对优化后的神经网络泛化性能的改善方面。

    Apr, 2024

  • 使用向心 SGD 进行具有复杂结构的非常深的卷积神经网络剪枝

    本文提出了一种名为 Centripetal SGD 的新型优化方法，它可以训练多个滤波器折叠到参数超空间中的单个点，从而实现网络瘦身并修剪冗余的滤波器，实验证明 C-SGD 滤波器修剪可以在不需要微调的情况下有效地减少网络规模，同时提高收敛速度和性能。

    Apr, 2019

  • 超越图卷积网络：一种解释性的以正则化为中心的优化框架

    本文主要研究在图数据上检测拓扑和语义结构，提出了一种名为 tsGCN 的图卷积网络，通过可解释的正则化优化框架，成功减少了计算无限阶图卷积的高计算复杂度，并且在八个公共数据集上对分类任务取得了比同类竞争对手更卓越的性能。

    Jan, 2023

  • 深度网络中的泛化（IIIb 理论）

    该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

    Jun, 2018