深度神经网络在依赖数据上的显式正则化和优化性能最近取得了相当大的进展。本文研究了从强混合观测样本中进行深度学习，并处理了平方损失和一类广义损失函数。对于包括回归估计、分类、时间序列预测等的一般框架，建立了期望超越风险的奥拉克不等式并给出了一类 H"older 平滑函数的界限。针对强混合数据和次指数误差的非参数回归，我们针对 $L_2$ 误差建立了奥拉克不等式，并研究了该误差在一类 H"older 组合函数上的上界。对于具有高斯和拉普拉斯误差的非参数自回归的特定情况，我们建立了 $L_2$ 误差在此 H"older 组合类上的下界。在对数因子上，这个界限与其上界匹配，因此深度神经网络估计器实现了最佳的极小化速率。

Jun, 2024

本文研究了标准线性回归模型的极小极大收敛速度，证明在合适的设计矩阵正则化条件下，最小值误差在 $L_2$-，$L_{oldsymbol r}$- 损失和 $L_{oldsymbol 2}$- 预测损失内达到了收缩速度。同时，我们提供了 $L_{oldsymbol r}$- 范数的极小极大风险下限。

Oct, 2009

本研究旨在探究在高维线性回归模型的情况下，不了解回归参数稀疏性和设计分布对解释方差等因素的估计最小风险的影响，获得了在回归参数稀疏性不明确的情况下最小风险同时达到 logloss 的自适应程序，同时发现设计分布的了解对解释方差的估计至关重要。

Feb, 2016

本文研究了稀疏可加模型的估计方法，通过使用核函数和凸正则化，对在重要条件下估计函数具有良好的表现，同时证明了该方法的最优性并获得了最小极值速率。

Aug, 2010

该研究介绍了两种计算方法，分别是自适应选择调整参数的 Lasso 估计器和 Slope 估计器，可以在满足限制特征值条件和更多约束条件的情况下，在高维线性回归上实现准确的最小化预测和 l2 估计率。

May, 2016

本文探讨了在高维情况下使用 Lasso 估计器进行线性回归分析中，单个回归系数的 p-value 计算问题，证明了随机设计矩阵的问题可通过解偏差的 Lasso 估计器获得计算解，最后通过统计物理中的 Replica heuristics，推导出普遍高斯设计的标准分布极限。

Jan, 2013

本文研究任意函数类和一般损失的在线回归问题，并确定了最小极大率。结果表明，当函数类的复杂度低于某一阈值时，最小极大率取决于损失函数的曲率和序列复杂度。而当复杂度高于该阈值时，损失的曲率不再影响率。此外，对于平方损失，当顺序和独立同分布的经验熵匹配时，统计和在线学习的速率相同。我们还提供了一种通用的预测器，它具有确定的最优率，并提供了一种设计在线预测算法的方法，用于某些问题可以是计算量有效的。

Jan, 2015

本文研究了基于独立的高斯观测量对高维种群协方差矩阵的主导特征向量的估计问题，建立了 $l_2$ 损失下估计量最小风险的极小界，并提出了一种新的二阶段坐标选择方案的特征向量估计方法。

Mar, 2012

关于随机设计回归模型的统计学习研究，我们提出了一种聚合经验最小值的方法，并建立了其风险的尖锐 Oracle 不等式，进一步证明了在良好规定的模型下，统计估计和在错误规定的模型下的统计后悔的速率等价的结论。

Aug, 2013

研究了基于 Nesterov 的对偶平均算法的随机优化算法，在预期损失是强凸的且最优解是（近似）稀疏的问题上进行优化，证明了在局部 Lipschitz 损失下，在 T 轮迭代后，我们的解决方案的误差最多为 O（（slogp）/T），并确立了我们的收敛率是最佳的，且在数值模拟中通过对最小二乘回归问题进行几个基准线的比较，证实了我们方法的有效性。

Jul, 2012