因式分解解开纠缠
本文提出一个基于变分推理的方法,从大量未标记的观察中推断分离的潜在因素,通过对所观察数据的近似后验期望引入正则化项,从而鼓励分离;同时,提出了一种新的分离度量,与解码器输出中观察到的定性分离更加一致,经实验证明,在分离度和数据似然(重建质量)方面存在显著的改进。
Nov, 2017
本文提出了一种不依赖于手动标注或数据领域知识的学习图像表示的方法,其实现了图像属性解离因素,其中每个因素代表一个一致的图像属性,这种解离后的特征可以应用于多种领域,例如将特定属性从一个图像转移到另一个图像、基于一个或多个属性进行分类或检索。这种方法中的自动编码器架构包括两个新的训练目标:不变性目标和分类目标,以确保每个特征块的编码对于其他属性是固定不变的,同时对于一致可辨的属性,避免出现完全被忽略的特征映射。实验验证了该方法在MNIST、Sprites和CelebA数据集上的有效性。
Nov, 2017
本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度,以通过非监督学习从高维数据中学习无监督表示,实验结果显示该目标函数可以解开离散变量,并提高其他变量的解开程度和泛化能力。
Apr, 2018
本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设,通过实验研究发现,不加监督训练的模型很难达到良好的分离效果,同时,增加分离度似乎不会降低学习的样本复杂度,未来的研究应该关注归纳偏置和(隐式)监督的作用,考虑在多个数据集上复现实验结果。
Nov, 2018
本文提出了VAEs的解耦合方法,即分解潜在表示,通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦,还可通过引入先验来实现其他更丰富类型的约束,并通过控制先验和潜在空间分布来改善解耦效果。此外,还介绍了另一套训练目标和先验选择来控制分解和解耦,并对β-VAE在控制潜在空间重叠方面的性质进行了分析。
Dec, 2018
本文提出一种新方法实现无监督离散和连续特征分离,利用 Beta-VAE 框架通过级联信息流方式最小化连续潜变量的总相关性,并通过分离离散特征的推理过程减轻编码器负担,最后在实验中显示其显著优于现有方法的分离得分和推理网络分类得分。
May, 2019
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对8个数据集进行超过14,000个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是“解开的”上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020
本文针对非线性独立成分分析的负面结果, 试图研究在没有条件独立性的辅助信息下如何实现解缠以及如何减少需要的辅助信息量。在一类模型中,我们证明理论上和实验上都可以实现解缠,即使辅助信息的维度远小于真实潜在表示的维度。
Apr, 2022
本研究解决了解耦表示学习中的真相信息缺失问题,提出了一种通过离散变分自编码器(VAE)来实现解耦的新方法。研究表明,结合全局代码簿的标量量化和总相关优化项能够显著提升解耦效果与重构性能,FactorQVAE方法在两个解耦指标上优于以往的解耦方法,具有重要的应用潜力。
Sep, 2024