在因果模型中,假定给定的机制对其他机制的变化是不变的。我们通过建立不可能的结果,表明仅靠不变性无法识别潜在的因果变量。结合实际考虑,我们利用这些理论发现来强调通过利用不变性来识别表示的需求需要额外的约束。
Dec, 2023
通过模拟物理机制,我们开发出一种无监督学习的算法,能够从变换后的数据点中恢复出一组相互独立的机制,并且这些机制可以移植到新的领域中,对于迁移学习有重要的启示和应用。
Dec, 2017
本论文研究了在非线性盲源分离的场景下,具有独立因果机制的模型,可以重获模型的可识别性并绕过一些非可识别性问题。
Jun, 2021
通过交替可识别机制(IEM)统一了交换性数据和因果结构学习的框架,提出了新的可识别性结果,并希望为因果表示学习的进一步研究铺平道路。
Jun, 2024
本文提出了一种基于因果结构的新算法来学习不变表示,通过实验证明其在各种任务上表现优异,尤其是领域泛化方面取得了最先进的结果。
Jun, 2022
在这篇论文中,我们展示了在使用潜在表示时应考虑的等变模型对归纳偏好的作用,并表明不考虑归纳偏好会导致下游任务的性能降低,相反,通过使用潜在表示的不变投影来有效地考虑归纳偏好,我们提出了选择这种投影的原则,并通过两个常见的例子展示了这些原则的影响:首先,我们研究了用于分子图形生成的置换等变变分自编码器;在这里,我们展示了可以设计一种不变投影,在结果不变表示中没有信息损失。接下来,我们研究了用于图像分类的旋转等变表示;在这里,我们说明了如何使用随机不变投影来获得一个在保留大量信息的不变表示。在这两种情况下,对不变潜在表示的分析证明优于它们的等变对应物。最后,我们证明了等变神经网络中记录的现象在通过数据增强鼓励不变性的标准神经网络中也存在。因此,虽然有经验的等变模型开发人员可能已经知道这些歧义,但我们将这些知识和处理这些歧义的有效工具提供给更广泛的社区。
Jan, 2024
通过学习具有因果模型语义的潜在变量表示形式,此研究论文探讨了因果模型在人工智能中的应用和理论基础,重点关注可辨识性问题以及在无直接监督下的表示学习目标可行性。
本文讨论了一种可能的未标识结果,说明了非线性独立成分分析理论基础上的建构,并通过适当构造的反例说明了表示学习中的其他反例及其可识别性。
Feb, 2022
本文提出了一种基于独立因果机制的因果解缠结的新概念,并提出了 ICM-VAE 框架来学习因果解缠结表示,使用可学习的基于流的差分同胚函数将噪声变量映射到潜在因果变量,同时为了促进因果因素的解缠结,提出了因果解缠结先验。在相对温和的条件下,我们提供了理论结果,显示出因果因子和机制的可识别性。经验证明,该框架引导出高度解缠结的因果因子,提高了干预的稳健性,并且与因果生成相容。
Jun, 2023
该论文研究因果关系表示学习,通过从我们观察到的低级数据中恢复高级潜在变量和它们之间的因果关系,假设可以访问从多个环境生成的观测结果。作者提出了一种可证明在无法使用硬干预的情况下所能达到的最佳可识别性概念,并针对线性因果模型和一般非参数因果模型提供了相应的可识别性保证。
Nov, 2023