因果分离表示
本文研究了因果变量在相关数据上的行为并分析了最主要的解缠方法在大规模实证研究(包括 4260 个模型)中的表现,结果显示数据集中系统性引入的相关性正在被学习并反映在潜在表示中,这对于解缠的下游应用如公平性有重要的影响,同时呈现了如何通过训练期间的弱监督或使用少量标签的预训练模型的后修复来解决这些潜在的相关性。
Jun, 2020
这篇论文通过引入共变量先验偏好,提出了一种名为 C-Disentanglement 的框架,用于识别因果生成因子,并在领域变化下取得了与各种 SOTA 基准方法相比具有竞争力的结果。
Oct, 2023
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对 8 个数据集进行超过 14,000 个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是 “解开的” 上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020
本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设,通过实验研究发现,不加监督训练的模型很难达到良好的分离效果,同时,增加分离度似乎不会降低学习的样本复杂度,未来的研究应该关注归纳偏置和 (隐式) 监督的作用,考虑在多个数据集上复现实验结果。
Nov, 2018
本文提出了一种基于独立因果机制的因果解缠结的新概念,并提出了 ICM-VAE 框架来学习因果解缠结表示,使用可学习的基于流的差分同胚函数将噪声变量映射到潜在因果变量,同时为了促进因果因素的解缠结,提出了因果解缠结先验。在相对温和的条件下,我们提供了理论结果,显示出因果因子和机制的可识别性。经验证明,该框架引导出高度解缠结的因果因子,提高了干预的稳健性,并且与因果生成相容。
Jun, 2023
本文提出一个基于变分推理的方法,从大量未标记的观察中推断分离的潜在因素,通过对所观察数据的近似后验期望引入正则化项,从而鼓励分离;同时,提出了一种新的分离度量,与解码器输出中观察到的定性分离更加一致,经实验证明,在分离度和数据似然(重建质量)方面存在显著的改进。
Nov, 2017
通过将因果关系理论与矢量量化变分自编码器相结合,我们提出了一种新的基于因果动态的去纠缠方法,将量化向量视为因果变量并将其链接在因果图中,通过对因果图进行因果干预,引发影响图像中唯一变化因素的原子转换。同时,我们通过引入一个新的行动检索任务来测试我们的模型。我们在标准的合成和真实世界的去纠缠数据集上进行了测试,结果表明它能够有效地解缠图像变化因素并对图像的高级语义属性进行精确干预,而不影响其质量,即使在不均衡的数据分布下也是如此。
Feb, 2023
研究了当领域匹配、限定标签、匹配对和 rank-pairing 等弱监督方法与基于分布匹配的学习算法相结合时,弱监督何时以及如何保证解缠缚表示的理论框架及其保证和局限性,并通过实验证明了我们理论框架的预测能力和有用性。
Oct, 2019