因果导向的鲁棒性: 利用一般性可加介入
本文通过研究基于方差的正则化器提供了对V-REx的理论洞察,提出了Risk Variance Penalization (RVP)的概念,改进了V-REx的正则化约束,解决了V-REx的理论问题,并为RVP提供了理论解释和理论驱动的参数调整方案。实验证明,RVP在一定条件下可以发现不变的预测器。
Jun, 2020
本文提出一种基于独立因果机制(ICM)原理的新梯度学习框架,理论和实验结果表明,这种学习方法可以在训练时利用不同环境之间的分布偏移,使神经网络更加鲁棒,并成功地找到与环境无关的关系,达到了对不稳定环境的泛化能力。
Oct, 2020
提出了一种不变因果表示学习(iCaRL)方法,通过利用广义指数族分布得出数据表示,可以在非线性场景中实现超出分布的泛化,并发现目标的全部直接原因,针对合成和真实数据集提出性能优于基线方法的实验结果。
Feb, 2021
本文研究了神经因果模型在零样本和小样本情况下的性能,并将其与单体模型和结构模型进行比较,其中预测变量的集合没有被限制为因果父节点。研究发现,相对于其他模型,因果神经模型在低数据量情况下具有更好的零样本和小样本适应性,并提供了稳健的泛化能力。此外,研究发现,比起更密集的图,对于更稀疏的图,这种效果更为显著。
Jun, 2022
使用信息理论方法,针对目标的因果变量未观察到的情况下,开发了特征选取和工程技术,以利用影响目标数据的观察到的下游变量作为代理,从中获得稳定性提升的信息,并利用辅助训练任务提取稳定性增强信息。在合成和实际数据上展示了我们技术的有效性。
May, 2023
近年来,对于在训练和测试数据之间分布变化下表现出鲁棒性能的统计方法引起了越来越多的关注。本文关注点预测的统计研究主要关注的是均方误差损失,而本文则将关注焦点转向概率预测,旨在全面量化给定协变量的结果变量的不确定性。我们在因果性启发框架下,研究了概率预测在适当评分规则下的不变性和鲁棒性。我们证明了任意的分布变化通常不具有不变且鲁棒的概率预测,与点预测的情况相反。我们通过说明如何选择评估指标并限制分布变化的类别,以实现在典型的高斯异方差线性模型中的可识别性和不变性。在这些发现的基础上,我们提出了一种能够产生不变概率预测的方法,称为 IPP,并研究了底层参数的一致性。最后,我们在模拟数据和单细胞数据上展示了我们提出的方法的实证表现。
Sep, 2023
我们提出了基于核的DR估计器,可以处理连续的处理方式,并通过充分性证明其正态形式是影响函数的一致近似。我们还提出了一种高效解决干扰函数的新方法,并以均方误差为指标进行了全面的收敛性分析,证明了我们估计器在合成数据集和实际应用中的实用性。
Sep, 2023
我们引入了高效的插件(EP)学习,这是一种用于估计异质因果对比的新框架,如条件平均治疗效应和条件相对风险。EP学习框架具有与尼曼正交学习策略相同的洞察效率,同时解决了它们的一些主要缺点,包括实际适用性受损于损失函数的非凸性,以及逆概率加权和违反界限的伪结果可能导致性能差和不稳定性。为了避免这些缺点,EP学习器构造了一个用于因果对比的种群风险函数的高效插件估计器,从而继承了像T-学习这样的插件估计策略的稳定性和鲁棒性特性。在合理条件下,基于经验风险最小化的EP学习器是洞察效率的,具有与种群风险函数的洞察效率单步去偏估计的最小化器等价的渐近等价性。在模拟实验中,我们证明了条件平均治疗效应和条件相对风险的EP学习器优于最先进的竞争对手,包括T-学习器、R-学习器和DR-学习器。我们的R软件包hte3提供了所提出方法的开源实现。
Feb, 2024
通过数据驱动的方法,在结构因果模型框架下,提出了一种名为Focused Adversarial Invariance Regularization (FAIR)的新框架,用于解决多样环境下的不变性追求问题,并应用FAIR-NN估计器实现普适的非参数不变性学习。
May, 2024
该论文介绍了双重稳健学习方法,旨在通过整合倾向得分和结果建模来从观测数据中进行因果推断。通过使用EconML软件包演示其应用,该论文消除了双重稳健方法的复杂性,并提供了实际的编程示例,旨在使数据科学和统计学的研究人员和从业人员可以更便捷地应用双重稳健学习方法。
Jun, 2024