Feb, 2024

一种基于动量加速的 ReLU 非线性矩阵分解算法

PDF
TL;DR近年来，由于与神经网络的紧密联系，人们对非线性矩阵分解（Nonlinear Matrix Decomposition，NMD）的探索日益增加。本文介绍了一种名为 ReLU-NMD-T 的 Tikhonov 正则化 ReLU-NMD 模型，并提出了一种动量加速算法来处理该模型，与其他研究不同之处在于我们的算法中同时考虑了正动量参数和负动量参数。我们在真实数据集上的数值实验表明了所提模型和算法的有效性。
nonlinear matrix decompositionneural networksrelu-nmd-t modelmomentum accelerated algorithmreal-world datasets
发现论文，激发创造
  • 使用 ReLU 函数加速非线性矩阵分解算法

    研究使用 ReLU 元素级非线性函数的非线性矩阵分解问题，提出了两种新算法（A-NMD 和 3B-NMD），它们通过自适应 Nesterov 外推和参数化 θ=WH 的方法来加速计算。同时，为了代替秩函数，提出了一种基于核范数的有效的初始化策略，并在合成和真实世界数据集上证明了所提出算法的有效性

    May, 2023

  • 深度展开网络与循环动量加速在非线性逆问题中的应用

    结合模型驱动的迭代算法和数据驱动的深度学习解决方案，我们提出了一种循环动量加速（RMA）框架，使用长短期记忆循环神经网络（LSTM-RNN）来模拟动量加速过程，通过应用 RMA 到两种流行的 DuNets 方法（LPGD-RMA 和 LPD-RMA），在非线性逆问题上取得了显著的性能提升。

    Jul, 2023

  • Polyak 动量方法的可证加速模块化分析：训练一种宽 ReLU 网络和一种深度线性网络

    本文研究了动量下降法在神经网络训练中的应用，揭示了其加速神经网络训练的原因及机理。通过对多个模型的分析，得出了使用动量下降法相比普通梯度下降法，能够更快地达到更优的训练效果的结论。

    Oct, 2020

  • 动态网络表示的动量非负张量因式分解模型

    本文提出了一种基于动量梯度下降的非线性潜在张量因子分解模型 (MNNL)，可从高维不完整张量 (HDI) 中提取非负潜在因子，改善了传统 LFT 模型的训练问题，提高了预测准确性和收敛速度。

    May, 2023

  • 偏强凸性条件下 Nesterov 动量法加速深度神经网络的收敛

    本文提出一类新的目标函数，其中只有参数的一个子集满足强凸性，并证明 Nesterov 的动量在这个目标类上实现了加速收敛，其中包括用于深度 ReLU 网络的两种实现方法，这是第一篇证明非平凡神经网络结构加速收敛率的论文。

    Jun, 2023

  • 非负矩阵分解的加速乘法更新和分层 ALS 算法

    本文提出了一种加速处理非负矩阵分解问题的技术，通过在每个迭代步骤中精确分析计算成本，来保持算法的收敛性。这种加速技术可以应用于其他算法，并且已在图像和文本数据集上进行了实证研究。

    Jul, 2011

  • 采用 ReLU 非线性激活函数优化循环神经网络性能

    本文针对使用 ReLU 非线性函数的循环神经网络提出一种修改后的权重初始化策略，并通过三个长期时间结构遵循的玩具问题以及一个基准动作识别问题的实验结果证实了该策略的有效性。

    Nov, 2015

  • 基于动态模态分解的非线性模型降阶

    本文提出了一种新的技术来获取非线性动力系统的降阶模型，并且通过最近开发的动态模式分解 (DMD) 来近似非线性项，从而获得完全降阶的替代模型。通过该技术所得，可以在不影响问题精度的同时，实现计算成本的大幅度降低。作者通过一系列数字测试证明了该方法的实用性和有效性，并与现有的方法进行了比较。

    Feb, 2016

  • 通过交替更新的非负矩阵分解恢复保证

    本文提出了一种基于生成模型的非负矩阵分解算法，该算法采用 ReLU 对权重进行解码，可以在较宽松条件下恢复基本事实，并且能够容忍大于信号的无偏噪声，分析依赖于两个潜在函数之间的精心设计的耦合。

    Nov, 2016

  • 结构化神经网络训练的正则化自适应动量双平均方法和高效非精确子问题求解器

    我们提出了一种用于训练结构化神经网络的正则化自适应动量双重平均（RAMDA）算法，通过引入一个有效求解子问题的方法，RAMDA 可以输出具有优秀预测性能和（局部）最佳结构的模型。

    Mar, 2024