May, 2023

SING: 一种即插即用的深度神经网络学习技术

PDF
TL;DR通过对 Adam (W) 进行标准化处理和梯度的标准化，提出了一种插拔式的技术 SING（稳定和标准化梯度），以实现优化器的稳定性和普适性。理论分析和实际实验都支持了该方法的有效性和实用性。
singoptimizerstabilitygeneralizationstandardization
发现论文，激发创造
  • Adam 和随机梯度下降优化的全局最小值非收敛问题及人工神经网络训练中的局部最小值构建

    在对使用 ReLU 和相关激活函数的浅层人工神经网络进行研究中，我们发现随机梯度下降（SGD）方法（如纯独立 SGD、动量 SGD、AdaGrad、RMSprop 和 Adam 优化器）高概率无法收敛到全局最小值，并证实了 ANN 训练问题的优化空间中存在具有不同风险值的局部最小值的分层结构。

    Feb, 2024

  • signSGD：非凸问题的压缩优化

    signSGD 可通过传输最小批次随机梯度符号来缓解学习分布在多个 worker 上时的通信效率问题，在实际应用中，其动量对应项能够匹配 Adam 算法在深层 Imagenet 模型上的精度和收敛速度。高斯定理证明 sign-based 优化方法对于通信效率和收敛速度的提高具有巨大潜力。

    Feb, 2018

  • 标准化方向保留 Adam

    本文提出了一种变种 Adam 算法 - 基于方向保持且具有归一化的 Adam 算法 (ND-Adam)，通过更精确的权重向量更新来消除 Adam 和 SGD 之间的推广差距，并进一步改善了分类任务中的推广性能。

    Sep, 2017

  • 使用尺度不变架构强化神经网络训练

    本文提出了通过修改网络结构，使其缩放不变，并使用 SGD 和权重衰减进行训练的通用方法，并证明了此方法不仅可以实现稳健的训练，还可以节省内存。作者还设计了一种名为 SIBERT 的缩放不变的 BERT 版本，其性能可与使用 Adam 等自适应方法训练的 BERT 相媲美。

    Feb, 2022

  • 用隐式随机梯度下降训练物理感知神经网络

    本文提出了使用隐式随机梯度下降方法来训练物理学指导神经网络，并经过理论和实验分析证明该方法能够有效地提高训练过程的稳定性，并比 SGD 和 Adam 等其他优化方法更有效地解决训练动态中的数值僵硬问题。

    Mar, 2023

  • 规模化和轻松化的深度学习

    SINGA 是一个可扩展、易用的分布式深度学习平台，具有基于深度学习模型的通用层抽象的直观编程模型和具体优化技术，可在 GPU 和 CPU 上运行，在实际的多媒体应用中的应用表现出了良好的可用性和可扩展性。

    Mar, 2016

  • Path-SGD：深度神经网络中的路径归一化优化

    本文重新审视了使用 SGD 来训练深度神经网络的选择，通过重新考虑优化权重时所适当的几何方式，提出了一种几何不变，不受权重重放缩影响的 Path-SGD 方法，并结合与最大范数正则化相关的基于路径的正则化器，使用这种近似的最陡梯度下降方法，以改进 SGD 和 AdaGrad 的效果。

    Jun, 2015

  • 动量消减物理信息神经网络中的谱偏差影响

    本文介绍了物理指导神经网络算法在解决涉及偏微分方程的问题方面的应用，重点研究了在随机梯度下降优化算法下演化的神经网络所用的神经切向核，证实该神经核显著减少了谱偏差的影响，并且通过对广泛神经网络的训练，实验结果表明在高频项存在的情况下，宽度合适的神经网络仍可以收敛于理想的解决方案。

    Jun, 2022

  • 带有规范化层学习的球形透视

    本文介绍了一个用几何角度来研究具有 Normalization Layers 的神经网络优化的球形框架，首先得出了 Adam 的第一个有效学习率表达式，并表明在存在 NLs 的情况下，仅执行 SGD 实际上等效于限制在单位超球面上的 Adam 变体，最后通过实验证实了之前 Adam 的变体对优化过程的影响。

    Jun, 2020

  • 随机符号下降方法：新算法和更好的理论

    本文介绍了一种基于符号的压缩方法，即 Stochastic Sign Descent with Momentum（SSDM）, 用于在分布式环境下解决符号 SGD 方法的收敛问题，同时可以保持 1 位压缩和小批量大小。

    May, 2019