该论文提出了使用稀疏组套索惩罚来适应神经网络以解决非参数高维问题，其中真实功能位于低维子空间中，并对统计收敛性进行了表征。

Nov, 2017

本文通过使用深度神经网络结合稀疏规则化技术，针对非线性偏微分方程的解进行了数值研究，结果表明该方法在求解 Burgers 方程和 Schrödinger 方程时能够生成稀疏且准确的解。

Jul, 2022

我们展示了具有新颖对抗训练方案的深度神经网络估计器的上限范数收敛。对于非参数回归问题，已经证明使用深度神经网络的估计器可以在 $L2$- 范数意义上取得更好的性能。相比之下，由于神经网络模型的深度结构，最小二乘神经估计器很难实现上限范数的收敛。在本研究中，我们开发了一种对抗性训练方案，并研究了深度神经网络估计器的上限范数收敛。首先，我们发现普通的对抗性训练使得神经估计器不一致。其次，我们证明了通过所提出的带校正的对抗性训练，深度神经网络估计器在上限范数意义上实现了最优速率。我们将对抗性训练扩展到损失函数和数据生成函数的一般设置。我们的实验证实了理论发现。

Jul, 2023

论文研究了稀疏估计算法、神经网络层和深度网络学习在估计准确性方面的应用，展示了深度网络学习可以在稀疏字典具有连贯列时恢复最小 L0 范数表示的潜力，并应用于三维场景表面法线的实际测量问题中。

May, 2016

使用基于稀疏连接 ReLU 激活函数的深层神经网络，通过适当选择网络结构实现多变量非参数回归模型的极小极限 (最优) 收敛速率 (最多出现 $log n$- 因子)，同时为多层前馈神经网络表现良好提供理论解释，并表明在不用结构约束的情况下，调整深度可以使模型的性能更好。

Aug, 2017

本文研究了超参数化神经网络在存在随机噪声的情况下恢复真实目标函数的能力，证明了采用 L2 正则化的神经网络与相应的神经切线核的核岭回归输出相似，并可以实现 L2 估计误差的最佳最小值，数值实验证实了该理论，同时表明 L2 正则化方法提高了训练的鲁棒性并适用于更广泛的神经网络。

Jul, 2020

本文使用稀疏惩罚深度神经网络预测器来学习弱相关过程，并提供了深度神经网络预测器类中 θ∞-coefficients 弱相关的非渐进泛化界限和超额风险的奥拉克不等式。

May, 2023

研究非线性模型下的监督学习与变量选择问题，提出一种基于偏导数的非参数稀疏模型，利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法，并通过理论和实验分析表明其具有优秀的性能表现。

Aug, 2012

深度神经网络在依赖数据上的显式正则化和优化性能最近取得了相当大的进展。本文研究了从强混合观测样本中进行深度学习，并处理了平方损失和一类广义损失函数。对于包括回归估计、分类、时间序列预测等的一般框架，建立了期望超越风险的奥拉克不等式并给出了一类 H"older 平滑函数的界限。针对强混合数据和次指数误差的非参数回归，我们针对 $L_2$ 误差建立了奥拉克不等式，并研究了该误差在一类 H"older 组合函数上的上界。对于具有高斯和拉普拉斯误差的非参数自回归的特定情况，我们建立了 $L_2$ 误差在此 H"older 组合类上的下界。在对数因子上，这个界限与其上界匹配，因此深度神经网络估计器实现了最佳的极小化速率。

Jun, 2024

研究了深度学习模型过度参数化和随机梯度下降的泛化能力现象，探讨了稀疏恢复的情况，提出了一种相应的超参数化均方误差损失函数，证明了该函数的梯度下降可以收敛到最小 L1 范数的好近似解。

Dec, 2021