相关因素VAE:学习和识别解缠因素
提出了Multi-Level Variational Autoencoder用于学习语义上相关并解耦的潜变量表示,将工作集中在组别和个体水平上的同时保持高效的测试时推理,以便对相关变量进行无监督控制。
May, 2017
我们提出了一种基于Total Correlation Variational Autoencoder的无监督学习方法,用以生成disentangled representations,并介绍了一种分类器无关的disentanglement度量,称为mutual information gap (MIG)。通过对restricted和non-restricted实验结果的定量和定性分析,我们展示了latent variables model 的total correlation和disentanglement之间的强关联关系。
Feb, 2018
本文提出了VAEs的解耦合方法,即分解潜在表示,通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦,还可通过引入先验来实现其他更丰富类型的约束,并通过控制先验和潜在空间分布来改善解耦效果。此外,还介绍了另一套训练目标和先验选择来控制分解和解耦,并对β-VAE在控制潜在空间重叠方面的性质进行了分析。
Dec, 2018
本文提出一种新方法实现无监督离散和连续特征分离,利用 Beta-VAE 框架通过级联信息流方式最小化连续潜变量的总相关性,并通过分离离散特征的推理过程减轻编码器负担,最后在实验中显示其显著优于现有方法的分离得分和推理网络分类得分。
May, 2019
提出了一种名为Bayes-Factor-VAEs的新型层级贝叶斯深度自编码器模型,使用长尾分布对数据的可变因素进行因子分离,可以在几个基准测试中量化和定性地优于现有方法。
Sep, 2019
提出一种名为SW-VAE的新型弱监督训练方法,该方法利用数据集的生成因素将输入观测对作为监督信号进行训练,并且引入了逐渐增加学习难度的策略来平滑训练过程。通过多个数据集的实验证明,该模型在表示分离任务上显示出明显的优于最先进方法的改进。
Sep, 2022
本文提出了一种结合因果结构信息的新型流模型——因果流,设计了 CF-VAE 模型,通过利用因果流增强 VAE 编码器的解缠结能力。进一步引入地面真实因素的监督,证明了该模型的解纠缠可识别性。在合成和真实数据集上的实验结果表明,CF-VAE 可以实现因果解纠缠,并进行干预实验。此外,CF-VAE 在下游任务上表现出优异的性能,并有潜力学习因果因素之间的结构。
Apr, 2023
介绍了一种基于深度生成 VAE 模型和基于自我监督的深度度量学习 prototype 网络的方法,在无监督的情况下学习到可解释且区分的潜在因素表达式,实验结果表明了该方法在多个数据集上的表现优于现有方法。
May, 2023
本研究解决了解耦表示学习中的真相信息缺失问题,提出了一种通过离散变分自编码器(VAE)来实现解耦的新方法。研究表明,结合全局代码簿的标量量化和总相关优化项能够显著提升解耦效果与重构性能,FactorQVAE方法在两个解耦指标上优于以往的解耦方法,具有重要的应用潜力。
Sep, 2024
本研究解决了解耦表示在生成建模中的有限适用性问题,通过引入一种新颖的总相关性下界(TC),优化变分自编码器(α-TCVAE),以最大化解耦和潜在变量的信息性。研究表明,α-TCVAE 在复杂数据集上能够学习到更加解耦的表示,并生成更多样化的观察结果,为机器学习领域提供了更好的生成能力和应用潜力。
Nov, 2024