在罚函数为 $L_2^2$ 的超验模型中，我们研究了学习单指数模型的问题，并提出了一种高效的学习算法，它在一系列分布和广泛类别的单调和 Lipschitz 链函数下，能够以常数因子逼近最优损失。这是第一个高效的常数因子逼近超验学习器，甚至适用于高斯数据和任何非平凡的链函数类别。我们算法与分析的主要技术要素是优化中的一种新概念，我们称之为对齐锐度，这可能具有更广泛的兴趣。

Feb, 2024

本文探讨如何在高斯分布下计算最适合的 ReLU 模型，证明了学习受高斯边缘影响下的 ReLU 模型的难点，并提出了一种利用噪声半空间学习算法的近似最优解法。

Nov, 2019

研究采用随机梯度下降法训练的神经网络，通过对每一次迭代的训练标签进行独立噪声扰动，得到一个隐式正则化项，从而驱动网络向简单模型发展，并以矩阵感知、一维数据下的两层 ReLU 网络训练以及单数据点下的两层 sigmoid 激活网络训练等三个简单场景进行了阐述。

Apr, 2019

提供了一个浅层神经网络的结构的几何解释，该网络具有一个隐藏层、一个斜坡激活函数、一个 L2 Schatten 类（或 Hilbert-Schmidt）代价函数、输入空间 R^M、输出空间 R^Q（其中 Q≤M），以及训练输入样本大小 N>QM，并且以 O (δ_P) 的阶数证明了成本函数的最小值的一个上界，其中 δ_P 度量了训练输入的信噪比。通过使用投影来适应于属于相同输出向量 y_j（其中 j = 1、…、Q）的训练输入向量的平均值 x_0,j，获得了一个近似优化器，并且在特殊情况 M = Q 下，我们明确确定了成本函数的一个精确退化局部最小值，其尖锐值与 QM 得到的上界相差一个相对误差 O (δ_P^2)，所得到的上界的证明得到了一个建设性训练的网络；我们展示它度量了由 x_0,j（其中 j = 1、…、Q）张成的输入空间 R^M 中的 Q 维子空间。我们还对给定上下文中成本函数的全局最小值的特征进行了评论。

Sep, 2023

研究了使用最小范数两层 ReLU 网络进行有噪单变量回归时的渐近过拟合行为，发现对于 L1 损失和 p<2 的任何 Lp 损失缓解了过拟合，但对于 p≥2 却是灾难性的。

Jul, 2023

本文研究深度 ReLU 网络下的成对学习，估计其多余泛化误差。通过成对最小二乘损失函数，取得近乎最优的估计上界。

May, 2023

本文考虑使用单隐藏层神经网络模型去解决回归问题，探讨了激活函数的属性，比如 ReLU、leaky ReLU、sigmoid 等都满足局部强凸性。文中还提出了使用张量方法对参数进行初始化，并配合梯度下降算法使用来解决回归问题。最终达到了使用线性的输入维数和对数精度计算复杂度的样本复杂性和计算复杂性要求。

Jun, 2017

本文提出了基于静态半空间报告数据结构的神经网络训练方法，通过几何搜索实现亚线性时间的激活神经元识别，并证明该算法可以在 O (M^2/ε^2) 的时间内收敛，其中 M 是系数范数上限，ε 是误差项。

Jul, 2023

本文提出了一种新的随机梯度下降算法，利用随机噪声扰动，无需任何假设于数据分布、网络大小和训练集大小，就能够证明地达到单隐藏层 ReLU 网络的全局最优性，同时提出了一些一般的泛化保证，此外，数值测试结果也验证了算法和理论的实用性。

Aug, 2018

本文研究两层神经网络的 ReLU 激活函数和平方损失函数的优化方法，利用一种交替迭代算法寻找损失函数的关键点，实验结果显示该算法能够比随机梯度下降和 Adam 优化器更快、更准确地求解深度值，并且该方法没有调参困扰。

Apr, 2023