因子量化变分自编码器的解耦
本文研究了参数 $eta$ 对分离自编码机性能和分离能力的影响,通过训练多个模型,发现其能够将独立输入生成因素编码为代码的单独元素,从而提高了模型行为的可解释性和可预测性。同时,也确定了分离对自编码机判别能力的负面影响。
Nov, 2017
我们提出了一种基于Total Correlation Variational Autoencoder的无监督学习方法,用以生成disentangled representations,并介绍了一种分类器无关的disentanglement度量,称为mutual information gap (MIG)。通过对restricted和non-restricted实验结果的定量和定性分析,我们展示了latent variables model 的total correlation和disentanglement之间的强关联关系。
Feb, 2018
我们提出了一种被称为FactorVAE的方法,它可以无监督地学习从独立变化因素生成的数据中发现因素解耦的表示,并通过提供更好的解耦和重构质量之间的平衡得到改进。此外,我们还介绍了一个新的解耦评估度量,并阐明了常用的解耦评估度量存在的问题。
Feb, 2018
本文提出了一种框架来无监督地学习清晰而可解释的连续和离散化的表示形式,通过增加变分自动编码机的连续潜在分布,并控制每个潜在单元中编码的信息量,展示了如何自动地从数据中发现连续和分类变化因素。实验结果显示,该框架在各种数据集上对连续和离散的生成因素进行了区分,并在离散生成因素突出时优于当前的 disentangling 方法。
Mar, 2018
本文以率失真理论为角度,探讨优化 $eta$-VAE 的修正ELBO下界时,在训练过程中的潜在编码信息容量逐渐增加的情况下,哪些情况下会出现与数据生成因素相对应的编码表示,我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制的方法,可以在不降低重构精度的情况下有力地学习到解缠合表示。
Apr, 2018
本文提出了一种使用弱监督来将潜在空间分离成两个互补子空间的新架构,使用变分自编码器中的循环一致性,获得鼓舞人心的结果,并与利用对抗训练的最近作品进行了比较。
Apr, 2018
本文提出了VAEs的解耦合方法,即分解潜在表示,通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦,还可通过引入先验来实现其他更丰富类型的约束,并通过控制先验和潜在空间分布来改善解耦效果。此外,还介绍了另一套训练目标和先验选择来控制分解和解耦,并对β-VAE在控制潜在空间重叠方面的性质进行了分析。
Dec, 2018
通过将标准的高斯变分自编码器(VAE)替换为量身定制的分类变分自编码器,我们探究了离散潜变量空间与解耦表示之间的关系。我们展示了分类分布的基础网格结构可以减轻与多变量高斯分布相关的旋转不变性问题,并作为解耦表示的高效先验。我们提供了分析和经验证据表明,离散VAE在学习解耦表示方面的优势。此外,我们引入了第一个偏向于解耦表示的无监督模型选择策略。
Jul, 2023