通过研究在浅层神经网络中使用梯度下降方法的稀疏高维函数，展示了它们在线性模型之外进行特征学习的能力。本研究扩展了这一框架，探索了高斯设置以外的情景，并通过假设在高维情形下可以有效地恢复未知方向。

Jul, 2023

通过对高维高斯数据的多指数回归问题进行梯度流研究，我们提出了一种两时间尺度算法，该算法以非参数模型学习低维关联函数，实现了全局收敛性，并给出了与其关联的 “鞍点到鞍点” 动力学的定量描述。

Oct, 2023

本文研究了一种自然的浅层神经网络，通过梯度流学习单指数模型，表明这种方法的优化效果良好，并且具有与半参数方法相当的泛化能力。

Oct, 2022

通过 SGD 优化的两层神经网络可学习任意多项式链接函数的单指数目标函数，并具有与信息理论界限相匹配的样本和运行时间复杂度。

Jun, 2024

通过梯度下降，我们研究了学习等变神经网络的问题。尽管已知的问题对称（“等变性”）被纳入神经网络中，经验上改善了从生物学到计算机视觉等领域的学习流程的性能，但是一项有关学习理论的研究表明，在相关统计查询模型（CSQ）中，实际学习浅层全连接（即非对称）网络的复杂度呈指数级增长。在这项工作中，我们提出了一个问题：已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难？我们的答案是否定的。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界，这些下界在相关输入维度中都以超多项式或指数级增长。因此，尽管通过对称性注入了显著的归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。

Jan, 2024

最近工作表明，基于梯度的学习单指数模型的样本复杂度受其信息指数的控制。然而，这些结果仅涉及各向同性数据，而实际上输入通常包含其他可隐含地指导算法的结构。在本文中，我们研究了一个带尖峰协方差结构的影响并揭示了一些有趣的现象。

Sep, 2023

单指标模型是高维回归问题，根据未知的一维投影通过非线性、潜在非确定性的变换，标签与输入相关，涵盖了广泛的统计推断任务，提供了在高维领域研究统计和计算权衡的丰富模版。我们证明了在统计查询（SQ）和低次多项式（LDP）框架内计算高效算法所需的样本复杂度最低为 Ω(d^k/2)，其中 k 是与模型关联的 “生成” 指数，我们明确定义了这个指数。此外，通过使用部分跟踪算法建立的匹配上界证明了这个样本复杂度也是充分的。因此，我们的结果表明，在 SQ 和 LDP 类中，只要 k>2，计算与统计之间存在明显的差距。为了完成这个研究，我们提供了具有任意大生成指数 k 的平滑和 Lipschitz 确定的目标函数的示例。

Mar, 2024

神经网络通过高维嘈杂的数据识别低维相关结构，我们对其工作原理的数学理解仍然有限。本文研究了使用基于梯度的算法训练的两层浅层神经网络的训练动态，并讨论了它们在具有低维相关方向的多指标模型中学习相关特征的方式。

May, 2024

该研究探讨了在初始状态下存在许多平坦方向时，双层神经网络在随机梯度下降下学习单目标函数的样本复杂性，发现过度参数化只能增强收敛，而不能提高在这个问题类中的常数因子，这些发现是基于将随机梯度下降动态降维到更低维度的随机过程。

May, 2023

研究了线性神经网络训练中渐进流（即用无穷小步长的梯度下降法）的隐含偏差；提出了神经网络的张量形式，包括全连接、对角线和卷积网络等特例，并研究了称为线性张量网络的公式的线性版本。通过这个公式，我们可以将网络的收敛方向表征为由网络定义的张量的奇异向量。

Oct, 2020