Mar, 2024

结构化神经网络训练的正则化自适应动量双平均方法和高效非精确子问题求解器

PDF
TL;DR我们提出了一种用于训练结构化神经网络的正则化自适应动量双重平均（RAMDA）算法，通过引入一个有效求解子问题的方法，RAMDA 可以输出具有优秀预测性能和（局部）最佳结构的模型。
regularized adaptive momentum dual averagingstructured neural networksefficient solvermanifold identificationpredictive performance
发现论文，激发创造
  • 正则化对偶平均的扩展及其动态

    通过提出广义正则化对偶平均（gRDA）算法，该算法首次推导了在线 l1 惩罚问题的渐近分布，并开发了在线稀疏线性回归和在线稀疏主成分分析的统计推断理论，以及进行了广泛的数值分析。

    Sep, 2019

  • 有限和优化的加速对偶平均方差缩减

    本文介绍了一种名为 VRADA 的简化和统一的有限和凸优化方法，其中改进了现有方法，匹配了一些更强的下界，并在实际数据集上证明了其具有良好的性能。

    Jun, 2020

  • LaMDA：通过频谱分解的低维度调整进行大模型微调

    通过光谱分解低维适应性的大型模型微调，LaMDA 可以在减少可训练参数和峰值 GPU 内存使用的同时，达到与现有替代方案相当甚至更好的性能。

    Jun, 2024

  • 深度展开网络与循环动量加速在非线性逆问题中的应用

    结合模型驱动的迭代算法和数据驱动的深度学习解决方案，我们提出了一种循环动量加速（RMA）框架，使用长短期记忆循环神经网络（LSTM-RNN）来模拟动量加速过程，通过应用 RMA 到两种流行的 DuNets 方法（LPGD-RMA 和 LPD-RMA），在非线性逆问题上取得了显著的性能提升。

    Jul, 2023

  • AA-DLADMM：一种基于加速 ADMM 的深度神经网络训练框架

    提出了一种名为 AA-DLADMM 的算法，它使用了 Anderson 加速以改进 ADMM 优化算法的收敛速度，通过在四个基准数据集上进行广泛实验证明了该算法的有效性和效率。

    Jan, 2024

  • 一种加速的一阶正则化动量下降上升算法用于随机非凸凹极小极大问题

    本文提出了一种用于解决随机非凸凹极小 - 极大问题的加速一阶正则化动量下降上升算法（FORMDA），证明了该算法的迭代复杂度为 $\tilde {\mathcal {O}}(\varepsilon ^{-6.5})$ 以获得 $\varepsilon$ 稳定点，在目标函数的稳定性下达到了已知单循环算法解决随机非凸凹极小 - 极大问题的最佳复杂度界限。

    Oct, 2023

  • 带隐式更新的正则化对偶平均与镜像下降的统一视角

    该研究探讨了三家在线凸优化算法家族：follow-the-proximally-regularized-leader（FTRL-Proximal）、正则化双平均（RDA）和组合目标镜像下降。研究证明了所有这些算法都是通用 FTRL 更新的实例。此外，通过使用紧凑的表示方法，文中还提出了一种更好的算法性能估计方法，在真实数据集上展现出了更好的性能。

    Sep, 2010

  • 在线镜像下降和对偶平均：在动态情况下保持步伐

    本文提出了一种简单的 OMD 算法技巧 - 稳定化，以动态学习率的情况下避免 OMD 线性遗憾，通过在经典 OMD 收敛分析下进行调整来获得与 DA 相同的性能保证。

    Jun, 2020

  • 无损适应性：一种带有动量化、自适应、双平均随机梯度优化方法

    引入了 MADGRAD 优化方法，其表现优异，不仅适用于视觉领域中的分类和图像转换任务，还适用于自然语言处理中的循环和双向掩蔽模型。在每个任务中，MADGRAD 的测试结果均优于 SGD 和 ADAM，并且在自适应方法通常表现差的问题上也表现出色。

    Jan, 2021

  • 一种加速线性化交替方向乘子法

    提出一种新颖的框架 AADMM，用于加速线性化交替方向乘子法 (ADMM)，对于一类具有线性约束的凸复合优化问题，AADMM 的收敛速度比线性化 ADMM 更快，而且当相应的鞍点问题有解时，AADMM 能够处理无边界的可行域，并提出了一种回溯算法来提高实际性能。

    Jan, 2014