Sep, 2024

通过优化梯度下降增强深度学习：连接数值方法与神经网络训练

HTML
PDF
TL;DR本研究解决了深度学习中的优化问题，提出了一种改进的随机梯度下降（SGD）优化器，借鉴了数值优化方法，以提升模型的可解释性和准确性。实验结果表明，该算法在多种深度学习任务中表现优异，显示了优化理论在复杂问题解决中的重要性和影响力。
发现论文，激发创造
  • 学习梯度下降：更好的泛化和更长的视野

    本文提出了一种学习自我学习模型和一些实用技巧，以优化损失函数的训练问题，其优化器在许多任务上优于通用的优化算法和DeepMind的学习优化器，包括深度MLP、CNN和简单的LSTM。

    Mar, 2017

  • 用于神经网络优化的深度Frank-Wolfe算法

    本研究提出了基于深度神经网络中复合近端框架的优化方法，该方法利用了深度神经网络的组合性质，并通过设计利用强大的凸优化算法，对于解决高维、非凸和非光滑优化问题提供了一种新的方法。

    Nov, 2018

  • 深度学习理论综述：最优控制与动态系统视角

    本文基于动态系统和最优控制的视角， 将现有的深度学习理论框架进行整合， 并用随机动态的优化算法作为控制器，为超参数调整提供了一个基于原则的方法。

    Aug, 2019

  • 深度学习优化：理论与算法

    本文介绍了用于训练神经网络的优化算法、如何应对梯度消失等问题的解决方案、广义优化方法（如SGD、自适应梯度方法和分布式方法）以及神经网络训练中的全局问题。

    Dec, 2019

  • 相干梯度: 一种理解基于梯度下降的优化中泛化性质的方法

    本文提出了一个关于如何解释神经网络使用梯度下降算法泛化能力较强的假设Coherent Gradients，并支持该假设的启发式论证和简单实验证明。同时，该分析为防止过拟合提出了一种自然而然的梯度下降修改方法。

    Feb, 2020

  • 过参数非线性系统和神经网络中的损失景观和优化

    本文提出了一种现代观点和一般性的数学框架，用于涵盖超参数机器学习模型和非线性方程组的损失景观和高效优化，其中包括超参数深度神经网络，并说明这些系统的PL$^*$条件密切相关，这解释了（S）GD对全局最小值的收敛，并提出了一个放松PL$^*$条件的方法可应用于几乎超参数系统。

    Feb, 2020

  • 深度神经网络的连续与离散优化

    研究了梯度下降法与梯度流动在深度学习中的关系，发现深度神经网络上的梯度流动轨迹存在良好曲率，能够很好地近似梯度下降法。理论和实验结果表明，梯度下降法具有较高的计算效率和全局最小解收敛保证。

    Jul, 2021

  • 深度学习优化理解

    这篇论文全面介绍了深度学习中的优化，重点关注梯度消失和梯度爆炸带来的挑战，提出了改进梯度流和对网络的Lipschitz常数施加限制等策略，并将优化方法分为两类：显式优化和隐式优化。通过对多个深度学习模块的雅可比矩阵和Lipschitz常数进行分析和实验，为读者提供了深入的理解。

    Jun, 2023

  • 基于梯度的优化方法和变分不等式在机器学习中的温和介绍

    机器学习中的快速进步基于与梯度优化的高效连接，在决策和多智能体问题上的转变为算法设计的新领域提出了新的数学挑战，我们提供了一个更广泛的梯度优化算法框架的简要介绍。

    Sep, 2023

  • 深度学习的超出单一模型视图：随机优化算法的优化与泛化能力

    本文采用一种新方法，通过估计随机优化器的稳态分布，从多条优化轨迹的集合中综合评估，旨在解决当前对深度学习优化算法有效性的理解不完整的问题。通过合成函数和计算机视觉、自然语言处理等领域的实际问题的评估，我们着重在统计框架下进行公平的基准测试和建立统计显著性，揭示了训练损失与保持精确度之间的关系以及SGD、噪声使能变体和利用BH框架的新优化器的可比性能，值得注意的是，这些算法展示了与SAM等平坦最小值优化器相当的性能，但梯度评估减少了一半。我们期待我们的工作将促进深度学习优化的进一步探索，鼓励从单模型方法转向更加认识和利用优化器的随机性质的方法。

    Mar, 2024