近年来，对于在训练和测试数据之间分布变化下表现出鲁棒性能的统计方法引起了越来越多的关注。本文关注点预测的统计研究主要关注的是均方误差损失，而本文则将关注焦点转向概率预测，旨在全面量化给定协变量的结果变量的不确定性。我们在因果性启发框架下，研究了概率预测在适当评分规则下的不变性和鲁棒性。我们证明了任意的分布变化通常不具有不变且鲁棒的概率预测，与点预测的情况相反。我们通过说明如何选择评估指标并限制分布变化的类别，以实现在典型的高斯异方差线性模型中的可识别性和不变性。在这些发现的基础上，我们提出了一种能够产生不变概率预测的方法，称为 IPP，并研究了底层参数的一致性。最后，我们在模拟数据和单细胞数据上展示了我们提出的方法的实证表现。

Sep, 2023

在多环境中研究因果推断，介绍使用变量的功能关系的不变性来推断算法的完整性，提出了基线算法和交替算法，并展示了与其他现有算法相比所提出算法的性能优势。

May, 2017

利用因果模型在干预下的预测不变性，我们提出一种方法来推断因果效应并构建高概率的因果模型集合。这个方法可以在各种不同实验设置下得出有效的置信区间，并研究了其鲁棒性和推广性。

Jan, 2015

通过数据驱动的方法，在结构因果模型框架下，提出了一种名为 Focused Adversarial Invariance Regularization (FAIR) 的新框架，用于解决多样环境下的不变性追求问题，并应用 FAIR-NN 估计器实现普适的非参数不变性学习。

May, 2024

在因果模型中，假定给定的机制对其他机制的变化是不变的。我们通过建立不可能的结果，表明仅靠不变性无法识别潜在的因果变量。结合实际考虑，我们利用这些理论发现来强调通过利用不变性来识别表示的需求需要额外的约束。

Dec, 2023

本文提出了一种基于因果性的分布鲁棒性方法，命名为分布鲁棒性通过不变梯度（DRIG），通过利用训练数据中的一般加性干预来实现对未见干预的鲁棒预测，自然地在分布预测和因果性之间插值。在线性设置中，证明 DRIG 在数据相关的一类分布转换中得到鲁棒的预测。此外，还扩展了该方法到半监督领域适应设置以进一步提高预测性能。最后，通过合成模拟和单细胞数据对我们的方法进行了实证验证。

Jul, 2023

从大规模语言模型、因果关系、以关联为导向的训练、数据异质性和随机梯度下降等方面，揭示了隐含的偏差存在。

Mar, 2024

在此篇文章中，我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案，采用自然且广泛的模型进行分析。我们发现在线性情况下，存在简单的条件使最优解成功或更常见的是失败，以至于无法恢复最优的不变预测器。此外，我们还展示了非线性部分的首批结果：除非测试数据与训练分布足够相似，否则 IRM 可能会失败，而这正是它要解决的问题。因此，在这种情况下，我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。

Oct, 2020

提出了一种不变因果表示学习 (iCaRL) 方法，通过利用广义指数族分布得出数据表示，可以在非线性场景中实现超出分布的泛化，并发现目标的全部直接原因，针对合成和真实数据集提出性能优于基线方法的实验结果。

Feb, 2021

本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

Aug, 2020