不变概率预测

Sep, 2023

Invariant Probabilistic Prediction

Alexander Henzi, Xinwei Shen, Michael Law, Peter Bühlmann

TL;DR近年来，对于在训练和测试数据之间分布变化下表现出鲁棒性能的统计方法引起了越来越多的关注。本文关注点预测的统计研究主要关注的是均方误差损失，而本文则将关注焦点转向概率预测，旨在全面量化给定协变量的结果变量的不确定性。我们在因果性启发框架下，研究了概率预测在适当评分规则下的不变性和鲁棒性。我们证明了任意的分布变化通常不具有不变且鲁棒的概率预测，与点预测的情况相反。我们通过说明如何选择评估指标并限制分布变化的类别，以实现在典型的高斯异方差线性模型中的可识别性和不变性。在这些发现的基础上，我们提出了一种能够产生不变概率预测的方法，称为 IPP，并研究了底层参数的一致性。最后，我们在模拟数据和单细胞数据上展示了我们提出的方法的实证表现。

Abstract

In recent years, there has been a growing interest in statistical methods that exhibit robust performance under distribution changes between training and test data. While most of the related research focuses on point predictions with the squared error loss, this article turns the focus

statistical methods probabilistic predictions invariance robustness proper scoring rules

发现论文，激发创造

稳健验证：即使分布发生偏移，也能自信地做出预测

本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

Aug, 2020

不变性、因果性和鲁棒性

本论文讨论了概率不变性或稳定性的概念及其如何应用于因果推断与预测鲁棒性问题。同时提出了一种用于风险最小化问题的因果形式化方法，通过估计常常出现在数据收集中的异构性或扰动数据来确定这种不变性。此新方法在许多应用中具有潜在的实用价值，比标准回归或分类框架中的机器学习或估计方法提供了更强的鲁棒性和更好的因果解释。

Dec, 2018

非线性模型的不变因果预测

本文介绍了一种新的学习因果模型的方法，称为不变因果预测，该方法绕过了因果关系的多个环境，并针对非线性模型的情况提出了可行的解决方案，在基于世界人口预测的生育率建模中，使用非线性 ICP 模型来预测假设性干预的效果并确认了儿童死亡率的中心因果作用。

Jun, 2017

使用不变预测进行因果推断：识别和置信区间

利用因果模型在干预下的预测不变性，我们提出一种方法来推断因果效应并构建高概率的因果模型集合。这个方法可以在各种不同实验设置下得出有效的置信区间，并研究了其鲁棒性和推广性。

Jan, 2015

通过基于物理信息的结构因果模型实现鲁棒的分布偏移下的符合性预测

通过使用物理信息的结构性因果模型 (PI-SCM) 来减小上界，我们验证了 PI-SCM 在置信水平和测试领域上对交通速度预测任务和多个真实世界数据集上的流行病传播任务的覆盖鲁棒性的提升。

Mar, 2024

不变风险最小化的风险

在此篇文章中，我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案，采用自然且广泛的模型进行分析。我们发现在线性情况下，存在简单的条件使最优解成功或更常见的是失败，以至于无法恢复最优的不变预测器。此外，我们还展示了非线性部分的首批结果：除非测试数据与训练分布足够相似，否则 IRM 可能会失败，而这正是它要解决的问题。因此，在这种情况下，我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。

Oct, 2020

参数高斯过程回归器

提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

Oct, 2019

有条件有效的概率拟合预测

我们开发了一种新方法来创建预测集，它结合了符合性方法的灵活性和条件分布 P（Y | X）的估计。我们的方法扩展了现有方法，实现了条件覆盖，这对许多实际应用至关重要。我们提供了非渐近界限，明确依赖于对条件分布的可用估计的质量，使得我们的置信集在数据的局部结构上高度自适应，特别适用于高异方差情况。通过广泛的模拟，我们证明了我们的方法的有效性，显示其在条件覆盖和统计推断的可靠性方面优于现有方法，在各种应用中提高了统计推断的可靠性。

Jul, 2024

分布式适应性预测

本研究提出了一种基于条件分布模型（如分位数和分布回归）构建有条件有效的预测区间的健壮方法，可以应用于横截面预测、k 步预测、合成控制和反事实预测、个体治疗效果预测等重要预测问题。

Sep, 2019

SymmPI: 利用群对称性进行数据的预测推理

基于分布对称性和预测不确定性，提出了 SymmPI 方法，用于预测推断和网络预测问题。

Dec, 2023