深度神经网络在依赖数据上的显式正则化和优化性能最近取得了相当大的进展。本文研究了从强混合观测样本中进行深度学习，并处理了平方损失和一类广义损失函数。对于包括回归估计、分类、时间序列预测等的一般框架，建立了期望超越风险的奥拉克不等式并给出了一类 H"older 平滑函数的界限。针对强混合数据和次指数误差的非参数回归，我们针对 $L_2$ 误差建立了奥拉克不等式，并研究了该误差在一类 H"older 组合函数上的上界。对于具有高斯和拉普拉斯误差的非参数自回归的特定情况，我们建立了 $L_2$ 误差在此 H"older 组合类上的下界。在对数因子上，这个界限与其上界匹配，因此深度神经网络估计器实现了最佳的极小化速率。

Jun, 2024

该论文提出了使用稀疏组套索惩罚来适应神经网络以解决非参数高维问题，其中真实功能位于低维子空间中，并对统计收敛性进行了表征。

Nov, 2017

对于从某些光滑函数类中学习函数的任务，如果权重限制或正则化得当，超参数化神经网络可以实现最小极值收敛率 (加上对数因子)。

Jun, 2023

关于随机设计回归模型的统计学习研究，我们提出了一种聚合经验最小值的方法，并建立了其风险的尖锐 Oracle 不等式，进一步证明了在良好规定的模型下，统计估计和在错误规定的模型下的统计后悔的速率等价的结论。

Aug, 2013

近期的深度学习研究在有界的损失函数或 (亚) 高斯或有界输入的情况下建立了深度神经网络估计器的一些理论性质。本文考虑了从弱相关观测中进行鲁棒深度学习，涉及无界的损失函数和无界的输入 / 输出。仅假设输出变量具有有限的 r 阶矩，其中 r>1。在强混合和 ψ- 弱相关假设的情况下，建立了深度神经网络估计器的期望超额风险的非渐近界限。我们推导出了这些界限与 r 之间的关系，并且当数据具有任意阶的矩 (即 r =∞) 时，收敛速度接近于一些著名结果。当目标预测函数属于具有足够大平滑指数的 H"older 平滑函数类时，期望超额风险的速率对于指数强混合数据接近于或与使用独立同分布样本获得的速率相同。我们考虑了鲁棒非参数回归和鲁棒非参数自回归的应用。对于具有重尾误差的模型的模拟研究表明，具有绝对损失和 Huber 损失函数的鲁棒估计器优于最小二乘法。

May, 2024

本文提出一个通用的定理给出经验风险最小化器 (ERM) 风险的上界，并且通过采用一些方便的加权经验过程的浓度不等式扩展 Tsybakov 针对 ERM 风险下边缘条件的分析，以便处理一些测量分类器类 “大小” 的方式，特别地，当分类规则属于某个 VC 类且满足边缘条件时，我们推导出 ERM 的新风险上界，并讨论这些上界在极小化意义下的最优性。

Feb, 2007

探讨深度神经网络假设类上基于经验风险最小化 (ERM) 的新分类和回归算法在高维偏微分方程数值解中克服维数灾难的条件，并说明在多项式时间内只需合适数量的样本即可获得解。

Sep, 2018

通过小球假设，本文在不假定类成员和目标是有界函数或具有快速衰减尾部的情况下，对凸类和使用平方损失的经验风险最小化的性能进行了尖锐边界限制。得到的估计与问题的噪声水平正确比例，并且当应用于经典的有限场景时总是会改善已知的边界。

Jan, 2014

研究非凸经验风险最小化法，通过多次随机初始化加优化步骤实现学习半空间和神经网络，并证明了学习数据以大于零的常数保持可分的神经网络的可学习性质，以及数据标签随机翻转的情况下的学习结果。

Nov, 2015

通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法，我们考虑了线性预测器和非线性预测器的设置，同时包括正定核。针对这类损失，作者提出了一种偏差 - 方差分解思路，并通过改善偏差项、方差项或二者同时来快速逼近渐进速率，从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。

Feb, 2019