通过 SGD 优化的两层神经网络可学习任意多项式链接函数的单指数目标函数，并具有与信息理论界限相匹配的样本和运行时间复杂度。

Jun, 2024

本论文研究了在球面上进行方差损失下的未知函数 f * 的学习问题，并研究了神经切向核模型和 Rahimi-Recht 的随机特征模型等两种流行的模型，以及核岭回归。同时，论文探讨了样本数量有限或由于关于度数和样本数的适当估计而未能实现最优化性能时的情况，以及核方法随机选取核函数时的情况。

Apr, 2019

单指标模型是高维回归问题，根据未知的一维投影通过非线性、潜在非确定性的变换，标签与输入相关，涵盖了广泛的统计推断任务，提供了在高维领域研究统计和计算权衡的丰富模版。我们证明了在统计查询（SQ）和低次多项式（LDP）框架内计算高效算法所需的样本复杂度最低为 Ω(d^k/2)，其中 k 是与模型关联的 “生成” 指数，我们明确定义了这个指数。此外，通过使用部分跟踪算法建立的匹配上界证明了这个样本复杂度也是充分的。因此，我们的结果表明，在 SQ 和 LDP 类中，只要 k>2，计算与统计之间存在明显的差距。为了完成这个研究，我们提供了具有任意大生成指数 k 的平滑和 Lipschitz 确定的目标函数的示例。

Mar, 2024

研究两层神经网络中第一梯度下降步骤，证明第一梯度更新中存在一个秩为 1 的 “峰值”，可以使第一层权重与教师模型的线性部分对其，并探索学习率对特征的影响，得出即使一步梯度下降也能带来显著优势的结论。

May, 2022

利用惩罚最小二乘估计法或贪婪得到的版本，选择连续函数集中的候选拟合替代参数空间离散化，证明了一些噪声设置下，非线性和非参数函数估计的风险小于已有理论得到的界，在样本量小于无限维参数化词典输入维度的立方根时可以进一步提升风险边界。

Jul, 2016

通过研究在浅层神经网络中使用梯度下降方法的稀疏高维函数，展示了它们在线性模型之外进行特征学习的能力。本研究扩展了这一框架，探索了高斯设置以外的情景，并通过假设在高维情形下可以有效地恢复未知方向。

Jul, 2023

通过分析两层全连接神经网络中梯度下降和岭回归的步骤，证明采用学习率随样本大小增长的训练方法可以引入多个一阶秩分量，分别对应特定的多项式特征，进而改善神经网络的学习效果。

Oct, 2023

本研究探讨了统计学习框架下随机特征稀疏化岭回归的泛化性质，结果显示仅需 O（根号 n*log n）个随机特征即可实现 O（1 / 根号 n）的学习界限，优于之前的提法；此外我们证明了一系列快速学习速率及其潜在影响，研究证明了及格自适应分配随机特征的可行性，这有助于降低计算复杂度，并保持最优泛化特性。

Feb, 2016

使用线性组合的神经元对凸紧致区域上的凹函数进行拟合，将所得的经验风险最小化问题收敛到概率分布空间中的 Wasserstein 渐进流（Wasserstein gradient flow），且在 bump 宽度趋近于 0 时，具有特殊的位移凸性（displacement convexity），由于此渐进理论能够描述中等值的行为，因此在对风险最小化和对宽度数量的理解方面仍存在着挑战。

Jan, 2019

在高斯协变量的条件下，使用过滤的 PCA 方法和测地线 SGD 技术，本文提出一个新算法，能够以较小的样本复杂度和运行时间来学习低维数据中的多项式回归问题，并给出了复杂度的理论分析。

Apr, 2020