近年来，由于与神经网络的紧密联系，人们对非线性矩阵分解（Nonlinear Matrix Decomposition，NMD）的探索日益增加。本文介绍了一种名为 ReLU-NMD-T 的 Tikhonov 正则化 ReLU-NMD 模型，并提出了一种动量加速算法来处理该模型，与其他研究不同之处在于我们的算法中同时考虑了正动量参数和负动量参数。我们在真实数据集上的数值实验表明了所提模型和算法的有效性。

Feb, 2024

本文研究了在低维多條件上 H"{o} lder 函数的非参数回归问题，并使用深层 ReLU 网络实现，研究结果表明深层 ReLU 网络具有适应低维几何结构的能力，可快速收敛于数据固有维度，进而解决高维数据的低维几何结构问题。

Aug, 2019

本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

Nov, 2016

本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为 O（N）和深度为 O（L）的深 ReLUNetwork 逼近，而且证明了具有 O（N lnN）宽度和 O（L lnL）深度的深 ReLUNetwork 能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

Jan, 2020

使用基于稀疏连接 ReLU 激活函数的深层神经网络，通过适当选择网络结构实现多变量非参数回归模型的极小极限 (最优) 收敛速率 (最多出现 $log n$- 因子)，同时为多层前馈神经网络表现良好提供理论解释，并表明在不用结构约束的情况下，调整深度可以使模型的性能更好。

Aug, 2017

本文提出了一种加速处理非负矩阵分解问题的技术，通过在每个迭代步骤中精确分析计算成本，来保持算法的收敛性。这种加速技术可以应用于其他算法，并且已在图像和文本数据集上进行了实证研究。

Jul, 2011

通过研究称为均匀正则化比例不变的更一般模型，本文证明了低秩逼近模型中的比例不变性带来了隐式正则化，具有意想不到的有益和有害效果，并根据这一观察加强了正则化函数在低秩逼近模型中的作用理解，以引导正则化超参数的选择，并设计平衡策略以提高优化算法的收敛速度。

Mar, 2024

使用深度学习方法中的深度神经网络（DNN）和修正线性单元（ReLU）、渗漏线性单元（leaky ReLU）或软正单元（softplus）激活函数，可以在无维数的空间 - 时间区域中以 Lp 意义逼近具有 Lipschitz 连续非线性性质的半线性热方程的解。

Jun, 2024

本文提出了一种新的随机梯度下降算法，利用随机噪声扰动，无需任何假设于数据分布、网络大小和训练集大小，就能够证明地达到单隐藏层 ReLU 网络的全局最优性，同时提出了一些一般的泛化保证，此外，数值测试结果也验证了算法和理论的实用性。

Aug, 2018

本文提供了两种计算和证明最小失真非平凡下界的算法 Fast-Lin 和 Fast-Lip，可以用于解决具有 ReLU 结构的神经网络的鲁棒性问题。相比于现有的解决方法，这两种方法计算速度更快，下界的质量更高，同时作者还证明了除非 NP=P，否则无法用多项式时间算法求解最小的 l1 失真。

Apr, 2018