通过定义回归任务中的鲁棒性，灵活地通过概率，我们展示了如何为用户指定的观察到有效输出的概率建立输入数据点扰动（使用 $l_2$ 范数）的上界。我们还展示了在回归模型无约束操作的情况下，基本的平均函数的渐近特性。在处理输出有界的回归模型族时，我们导出了输入扰动的认证上界。我们的模拟验证了理论结果的有效性，并揭示了简单平滑函数（例如平均）在回归任务中的优势和局限性。

May, 2024

探讨使用经验似然方法来计算期望值目标和约束下最优解以及最优性差距的置信区间，从而量化样本平均近似的统计不确定性，并针对具有期望值目标和约束的优化问题提出了两个鲁棒优化问题，其基于不确定分布，具有适当校准的基于差异的不确定性集，以提供渐近统计保证。

Apr, 2016

本文研究了经验风险极小化算法的鲁棒版本，提出了基于代理替换的统计方法，以解决样本中存在离群值的情况，并且在回归问题上的表现得到了检验。

Oct, 2019

在这篇研究中，我们考虑了一个具有最优解 θ* 和 Hessian 矩阵 H 的在线最小二乘回归问题，并研究了 θ* 的时间平均随机梯度下降估计器。我们提供了 θ* 的无偏估计器，它是时间平均估计器的修改版本，在 k 阶数量级的时间步骤内运行，具有 O (1/k) 的预期超出风险。O 记号后的常数依赖于回归的参数，是 H 的最小特征值的多对数函数。我们提供了时间平均估计器和其无偏对应物的预期超出风险的有偏和无偏估计器，而不需要对 H 或 θ* 有任何了解。我们描述了我们的估计器的 “平均起始” 版本，具有类似的性质。我们的方法基于随机多级蒙特卡罗。我们的数值实验证实了我们的理论发现。

Jun, 2024

针对在普通最小二乘法回归中预测的偏差问题，我们提出了一个更好的估算方法 —— 基于截断误差差值的极小 - 极大框架，其期望和差距都为 d/n。

Oct, 2010

通过使用分布鲁棒优化和 Owen 的经验似然的技术，我们开发了一种风险最小化和随机优化的方法，提供了一个凸代理来实现方差的降低，实现了近乎最优和计算效率之间的权衡，我们给出了一些有限样本和渐近结果来表征估计器的理论性能。

Oct, 2016

本文研究了基于经验似然和分布鲁棒解的方法进行随机优化问题的统计推断，特别关注最优值的置信区间和渐近达到精确覆盖的解决方案。我们提出了一个基于非参数 $f$- 分歧球构建的分布不确定性集合的广义经验似然框架，用于 Hadamard 可微函数和随机优化问题，从而提供了一个有原则的选择分布不确定性区域大小的方法，以实现达到精确覆盖的单侧和双侧置信区间。我们还给出了我们分布鲁棒的公式的渐近展开，表明如何通过方差来规范化问题。最后，我们证明了，我们研究的分布鲁棒公式的优化器具有与经典样本平均逼近中的优化器基本相同的一致性属性。我们的一般方法适用于快速混合的平稳序列，包括几何上遗传的 Harris 递归马尔科夫链。

Oct, 2016

本研究针对回归任务中的训练数据中的离群值和嘈杂标签对基于最大似然的不确定性估计方法的鲁棒性进行基准测试，并提出使用重尾分布（拉普拉斯分布）来提高对离群值的鲁棒性。通过标准回归基准测试和单目深度估计的高维回归任务进行了验证，得出了基于重尾分布的最大似然提供更好的不确定性估计，更好的超出分布数据的不确定性分离，以及在存在离群值的情况下更好的对抗性攻击检测等结论。

Feb, 2022

本文主要介绍了在强污染模型下进行统计回归问题的快速算法，其中使用了鲁棒梯度下降框架，并提出了更快、更有效的算法来加速最优化过程。

Jun, 2021

本文从均方误差的角度对 ridgeless interpolation least squares estimator 进行分析，证明相对于样本大小引入大量不重要的参数能够有效降低估计器的均方误差，并且利用回归误差的方差 - 协方差矩阵的迹来刻画估计困难。

May, 2023