我们提出了一个基于随机高阶矩张量收缩的多尺度算法，用于发现个别神经元。在学习由 $k$ 个 ReLU 激活的线性组合方面，该算法是首个在多项式时间内成功的，而且无需额外假设网络的正系数或隐藏权重向量的矩阵具有良好的条件数。

Apr, 2023

该研究提出了一种基于高斯分布假设的算法，可以在多项式时间内准确地恢复两层神经网络的权重矩阵，即使在存在噪声的情况下。

Nov, 2018

本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带 $l_1$ 正则化的线性模型。

Feb, 2020

提出了一种基于 Lipschitz 的单隐层神经网络的多项式时间学习算法，使用了 Alphatron 算法和核方法，这为布尔学习问题提供了新的方法。

Sep, 2017

本研究提出了有效学习基于 ReLU 的常深度网络的算法，该算法运用了核方法、多项式逼近和凸优化的 “双损失” 方法，同时获得了解决 “凸分段线性拟合” 和 “在单位球上低权重多项式的噪音重构” 等其他应用。

Nov, 2016

研究非凸经验风险最小化法，通过多次随机初始化加优化步骤实现学习半空间和神经网络，并证明了学习数据以大于零的常数保持可分的神经网络的可学习性质，以及数据标签随机翻转的情况下的学习结果。

Nov, 2015

利用梯度下降证明了学习单层神经网络的第一个超多项式下限，它包括使用小批量的梯度下降，需要锐利的激活函数和适用于特定查询的以前结果。与以前的结果不同，我们的结果适用于包括 ReLU 和 sigmoid 在内的广泛激活类别，并且围绕一种新型神经网络的结构构建。

Jun, 2020

本文研究采用梯度下降算法学习双层神经网络，证明其具有多项式样本和多项式时间复杂度，且可以学习到真实网络，而任何具有多项式样本的核方法均具有 Omega 误差下限。

Jul, 2020

使用一种称为过滤式 PCA 的新工具来解决学习具有 ReLu 激活函数的神经网络的问题，该算法可以快速，并且不需要权重具有良好的条件或正系数的假设。

Sep, 2020

我们研究了学习从标准的 d 维高斯度量中绘制的带有标签的示例的 k 个 ReLU 激活的线性组合的问题。我们发现了一个简化的一阶段版本的算法，其运行时间只有 (d/ε)^O (k^2)。

Jul, 2023