- 关于半敏感特征的凸优化
在半敏感 DP 设置下，我们研究了差分隐私（DP）经验风险最小化（ERM）问题，其中只有部分特征是敏感的。我们对 DP-ERM 的超额风险给出了改进的上界和下界。具体来说，在敏感域的规模方面，我们的错误只在对数多项式尺度上缩放，这比以前的结 - 弱相关数据的强健深度学习
近期的深度学习研究在有界的损失函数或 (亚) 高斯或有界输入的情况下建立了深度神经网络估计器的一些理论性质。本文考虑了从弱相关观测中进行鲁棒深度学习，涉及无界的损失函数和无界的输入 / 输出。仅假设输出变量具有有限的 r 阶矩，其中 r>1 - Sobolev 空间中核分类器的最优性
本篇论文研究了核分类器的统计性能，考虑了核回归理论的最新进展，在一些条件概率的基础上得出了核分类器分类超额风险的上界，并获得了对 Sobolev 空间的极小下界，表明所提出的分类器的最优性，同时将理论结果推广到超参数化神经网络分类器的泛化误 - 基于现实假设的核回归泛化
对于几乎所有常见和现实设置，本论文旨在提供一种统一的理论来上界核回归的超额风险。通过提供适用于常见核函数和任意正则化、噪声、输入维度和样本数量的严格界限，并提供核矩阵特征值的相对扰动界限，揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象， - 稀疏深度神经网络的统计学习
基于经验风险最小化与 l_1 正则化的深度神经网络估计器，我们推导出其在回归和分类（包括多类别）中的过量风险的一般界限，并证明它在各种函数类的整个范围内几乎达到最小值（取对数因子）。
- 神经网络分类器的过度风险收敛速率
神经网络在模式识别和分类问题中的成功表明其具备与支持向量机（SVMs）或提升分类器等其他传统分类器不同的特性。本文研究了基于神经网络的插件分类器在二元分类设置中的性能，以其超出风险的度量为基准。相较于文献中的典型设置，我们考虑了更一般的实践 - 大维数情况下核回归的最优速率
对大维数据的核回归进行研究，利用 Mendelson 复杂度和度量熵的上界和下界来表征核回归的极小二乘误差率，进一步确定最优极小二乘误差率，并发现该曲线沿着参数变化时呈现多次下降行为和周期平台行为，同时也适用于神经切线核和宽神经网络。
- 利用深层 ReLU 网络对高斯混合模型生成的数据进行分类
该研究使用深度 ReLU 神经网络对由 Gaussian Mixture Models (GMMs) 在 $R^d$ 下生成的无界数据进行二元分类，并首次获得了无需限制模型参数的分类的非渐进上界和收敛速度的超额风险 (超额误分类误差)。所得 - 极小 - 极大超额风险优化的高效随机逼近
本文提出了一种新的最小化极差风险优化问题，称为最小极差风险优化 (MERO)，并借助随机凸 - 凹优化 (SCCO) 的技术，提出了高效的随机逼近方法来解决 MERO。实验证明，该方法具有几乎最优的收敛速率，且在不同分布噪声存在异质性的情况 - 关于蒸馏集合的大小和逼近误差
本文从理论角度探究基于核岭回归（KRR）的数据集精简方法，证明了在随机傅里叶特征空间中存在与原始数据解重合的一小组实例，利用这些实例可以生成 KRR 解，从而实现对完整输入数据的解近似优化。
- ICML带有递减步长的 SGD 最后迭代的过参数化线性回归风险界
本文针对几何递减步长的随机梯度下降算法在过参数化线性回归问题中的应用，对其迭代步数的风险进行了理论分析，并探讨了不同递减方法对算法优化效果的影响。
- 愚蠢的群体支持良性过度拟合
研究了稀疏插值程序在高参数化区域中对于高斯数据的线性回归问题的超额风险的下界，并将该结果应用于芯片追踪问题，从而揭示出一种类似于 “群众智慧” 的效应，即通过在多个方向上分散 “噪声” 来减少风险。
- 非欧几里得差分隐私随机凸优化：线性时间内的最优收敛率
本文系统研究了在不同的 normed space 下，拥有标准平滑性假设的 Differentially private stochastic convex optimization 问题，提出了新的算法并证明了其优于之前已知的算法
- DEUP：直接预测认知不确定性
本文提出了一种直接估计超额风险的基于学习次级预测器和减去自身不确定性估计的框架，探讨了其与贝叶斯后验方差等主流方法的不同和改进点，并在一系列实验中展示了这种新方法在迭代学习和探索性强化学习等方面的优越性。
- 贝叶斯学习中的最小超额风险
本文探讨了基于生成模型下贝叶斯学习的最佳性能，并通过定义和上界最小超额风险（MER）来说明不同不确定性的概念，包括 aleatoric 不确定性和最小认知不确定性。
- ICML随机梯度流对最小二乘隐式正则化
研究隐式正则化的小批量随机梯度下降，以最小二乘回归为基础问题，利用具有与随机梯度下降相同矩的连续时间随机微分方程，称为随机梯度流。给出了随时间 t 随机梯度流的超额风险的界限，超过了具有调整参数 λ=1/t 的岭回归，此界限可以从明确的常数 - 鲁棒性经验风险最小化中过度风险界
本文研究了经验风险极小化算法的鲁棒版本，提出了基于代理替换的统计方法，以解决样本中存在离群值的情况，并且在回归问题上的表现得到了检验。
- 多领域判别分析实现领域泛化
本文提出了一种多领域判别分析方法 (MDA) 来处理分类任务中的域泛化问题，通过学习一个域不变的特征变换，旨在实现每个类别之间领域的最小差异、类别之间最大可分性以及整体最大紧凑性，在学习理论分析中提供了过度风险和泛化误差的限制，通过对合成数 - 基于分布的 Gibbs-ERM 原理分析
本研究通过对 Gibbs-ERM 学习的实验，得出使用正则化经验风险的 Gibbs-ERM 学习器所遭受的过度风险并受数据生成分布和大假设空间影响的分布依赖上界受有效维度控制，这对于研究技术至关重要。
- 基于统一 PAC-Bayesian-Rademacher-Shtarkov-MDL 复杂度的紧致过量风险界
提出了一种新的学习理论复杂性概念，它在经验风险最小化和贝叶斯估计器的情况下分别以数据无关的 Rademacher 复杂度和数据相关的信息复杂度进行上限绑定，并通过 Rademacher 复杂度将其与 $L_2 (P)$ 熵进行关联。该研究进