线性单元测试用于不变性发现
我们的研究将因果估计推广到具有任意个维度或可测空间的结果,将传统的因果估计用于名义变量作为因果差异检验,提出了一种简单的方法来调整普遍一致的条件独立性检验,并证明这些检验是普遍一致的因果差异检验。数值实验证明,我们的方法 Causal CDcorr 与现有策略相比,在有限样本的有效性和功效方面都有所改进。我们的方法都是开源的,可以在 github.com/ebridge2/cdcorr 获取。
Jul, 2023
研究探讨了机器学习中的问题,特别是当模型在不同于训练数据的数据上进行测试时,模型很容易出现失败的现象,主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。
Mar, 2021
该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法,其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明,建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低,从而在保持测试误差不变的情况下提高统计效率。此外,研究表明,数据增广与无结构核估计等价于一个不变性核估计,具有相同的统计效率。
Feb, 2021
该研究提出了一种方法,使用多个训练环境来生成不同干预的多个环境,并评估了基于模拟数据的不受监督的学习问题的 ICP 性能,最后与 ICP 相结合提出了改进的方法,提高了在具有多个协变量的数据集中进行因果发现的性能。
Apr, 2023
提出了一种不变因果表示学习 (iCaRL) 方法,通过利用广义指数族分布得出数据表示,可以在非线性场景中实现超出分布的泛化,并发现目标的全部直接原因,针对合成和真实数据集提出性能优于基线方法的实验结果。
Feb, 2021
通过在线性分类任务中的实验证明了仅仅使用不变性原理是不够的,利用信息瓶颈限制的形式加入不变性原则可以解决当因果特征占据标签信息的时候分类模型的失效问题。
Jun, 2021
本论文讨论了概率不变性或稳定性的概念及其如何应用于因果推断与预测鲁棒性问题。同时提出了一种用于风险最小化问题的因果形式化方法,通过估计常常出现在数据收集中的异构性或扰动数据来确定这种不变性。此新方法在许多应用中具有潜在的实用价值,比标准回归或分类框架中的机器学习或估计方法提供了更强的鲁棒性和更好的因果解释。
Dec, 2018
证明随机特征学习的一般性定理,表明具有非线性激活函数的随机特征模型在训练和泛化误差方面渐近等效于匹配协方差矩阵的线性高斯模型,其方法基于经典的 Lindeberg 方法,证明的主要内容包括针对与训练过程相关的优化问题的 leave-one-out 分析以及针对弱相关随机变量的中心极限定理,通过 Stein 方法获得。
Sep, 2020