前向论合理化了模型的泛化错误上界，为学习提供了健壮的 PAC-Bayes 边界。然而，已知损失的最小化会忽略错误规范化，在此情况下模型无法完全复现观测结果。我们分析了近确定、错误规范化和欠参数化替代模型的泛化错误，这是科学和工程中广泛相关的一种情况。我们证明了后验分布必须覆盖每个训练点以避免泛化错误的发散，并导出了一种满足此约束条件的集合假设，对线性模型而言额外开销最小。这种高效方法在模型问题上得到了证明，并应用于原子尺度机器学习中的高维数据集，由错误规范化导致的参数不确定性在欠参数化极限中仍然存在，从而可以准确预测和限定测试误差的上限。

Feb, 2024

该研究探讨了一种最坏情况的方法来衡量随机系统性能分析中的模型误差敏感性，通过 Kullback-Leibler（KL）散度度量模型误差，并通过优化计算程序来计算最坏情况性能指标，通过创新的微小近似方法，得出了这些程序的最优值渐近展开式，展开式系数可以通过模拟计算，并从最坏情况模型的表示中派生而来，这些表示作为函数不动点方程组的定义。

Mar, 2013

提出了一种用于模型选择的半贝叶斯原则，并通过渐近扩展导出了半贝叶斯信息准则（SIC），该方法在模型正确性和不正确性下的模型选择具有优势。

May, 2010

本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

Aug, 2020

通过研究随机最小化和学习问题的模型，我们提出了一种更具鲁棒性的解决方案。通过适当精确的模型，即所谓的 aProx 系列，随机最优化方法可以稳定，可证明收敛且渐近最优。我们将这些结果扩展到弱凸目标，其中包括凸损失与光滑函数的组合，在现代机器学习应用中很常见。通过对收敛时间和算法灵敏度的仔细实验评估，我们强调了鲁棒性和准确的建模的重要性。

Mar, 2019

基于可靠性和可问责性的指导原则，本文提出了一种模型无关的统计框架，用于不确定性量化和统计推断，通过预测集提供可控制第一类错误的有限样本控制方法，并提供了灵活的工具用于不确定性概率推理。

Jul, 2023

本文综述了决策制定中的不确定性状态，并关注走在经典解释之外的不确定性，尤其是区分了可变性不确定性和认知不确定性。作者提供了多种解决方案，包括离散和连续模型，从正式验证、控制抽象到强化学习，以优秀解法应对认知不确定性，并列举和讨论了处理丰富类型不确定性时出现的重要挑战。

Mar, 2023

本文介绍了如何利用 efficient influence function 来构建基于统计 / 机器学习的 estimators，并讨论了这些 estimators 表现良好的前提条件。

Jul, 2021

该研究探讨了在模型不完备的情况下，通过估计预测不确定性（如起源于先验模型不充分的模型不适配性等因素）的方法，选择性地使用模型，以此提高强化学习算法的学习效果。

Jul, 2020

在现代统计学和机器学习中，条件独立性检验是基础性且具有挑战性的。许多现代的条件独立性检验方法依赖于强大的监督学习方法，在学习回归函数或贝叶斯预测器时作为一种中间步骤。然而，当监督学习方法由于模型错误估计导致失败时，这些方法的行为了解还很有限。在更广义上，即使使用通用逼近器（如深度神经网络），模型错误估计仍然可能产生。因此，我们研究了基于回归的条件独立性测试在模型错误估计下的性能。具体地，我们提出了三个基于回归的测试的测试误差的新近似值或上界，这些误差依赖于模型错误估计。此外，我们引入了一种新的基于回归的条件独立性测试方法，即 Rao-Blackwellized 预测器测试（RBPT），该方法对模型错误估计具有鲁棒性。最后，我们使用人工数据和真实数据进行实验证明了我们的理论和方法的有用性。

Jul, 2023