改进超出分布分类的因果理论和结构数据表示
本文介绍了一种基于对象导向表现形式的迁移学习框架,该框架利用人类学习因果模型并将其用于环境的变量之间的迁移。作者将连续优化的结构学习技术应用于对象之间的因果关系的显式学习中,并通过基于因果知识的对象分类将其迁移到目标领域。最后,在强化学习中,作者结合了因果模型和无模型方法,实现对格子世界环境中的对象表现的优化。
Jul, 2020
通过提出基于因果推理的因果语义生成模型(CSG),并利用因果不变性原则,我们开发了一种用于从单个培训域进行 OOD 预测的方法,该方法将语义因素和变化因素分别建模,从而解决了传统的监督学习方法对 OOD 例子的敏感性问题,并且在实证研究中表现出比现有方法更好的 OOD 性能。
Nov, 2020
通过使用反事实数据增强、基于数据的因果结构模拟对虚假特征的干预,以及采用大型语言模型来表示文本的条件概率,该论文介绍了一种改善文本分类器鲁棒性的方法,并通过在医疗叙述和半合成数据上进行广泛实验,证明了该方法对改善模型的预测能力具有积极效果。
Oct, 2023
机器学习模型在处理来自未来天文调查的离域样本时依然面临挑战,解释性方法通过使用相似性度量来检查预训练卷积神经网络在中心核对齐方面的性能与表示相似性之间的关系,发现当模型对分布变化具有稳健性时,在离域数据上,图像在网络层之间的表示会有较大变化;然而,当模型无法泛化时,在离域数据上,这些表示在网络层之间的变化较小。讨论了这种相似性表示在模型设计、训练策略以及通过在训练过程中加入中心核对齐作为归纳偏差来缓解离域问题方面的潜在应用。
Nov, 2023
我们将因果表示学习与动力系统以及其假设联系起来,应用在可辨识的方法上,建立可辨识且实用的模型,从而解决下游任务,如分布外分类和治疗效果估计,并在真实气候数据中成功回答与现有气候变化文献相符的下游因果问题。
May, 2024
我们提供了一个形式框架,解决了动力系统重构中的泛化问题。通过引入基于拓扑概念和遍历理论的数学概念,我们证明了黑盒深度学习技术通常无法学习到具有泛化能力的动力系统重构模型。我们的研究对动力系统重构中的泛化问题进行了首次全面的数学处理,并深入理解了泛化问题的根本原因以及如何在实践中解决这些问题。
Feb, 2024
本研究提出了一种基于本地自发变化的方法,用于发现因果结构,并分析了与之相关的结构类别,设计了可以输出这些等价类的图形表示的算法,并使用模拟数据展示了实验结果,研究了变化检测和结构恢复的误差。
Jan, 2013
通过因果关系分析揭示了图神经网络在节点分布迁移中一种存在于环境背景潜在混淆偏差,提出一种简明的、有原则性的方法通过因果推断来训练鲁棒的图神经网络,以抵消训练数据中的混淆偏差,并促进学习可泛化的预测关系。实验证明,该模型可以有效提高各类分布迁移情况下的泛化性能,在图的分布迁移基准测试中相比最先进方法最多提高 27.4% 的准确率。
Feb, 2024