用潜在量化实现解缠
本文提出一个基于变分推理的方法,从大量未标记的观察中推断分离的潜在因素,通过对所观察数据的近似后验期望引入正则化项,从而鼓励分离;同时,提出了一种新的分离度量,与解码器输出中观察到的定性分离更加一致,经实验证明,在分离度和数据似然(重建质量)方面存在显著的改进。
Nov, 2017
本文提出了一种使用弱监督来将潜在空间分离成两个互补子空间的新架构,使用变分自编码器中的循环一致性,获得鼓舞人心的结果,并与利用对抗训练的最近作品进行了比较。
Apr, 2018
本研究提出了一种在深度生成模型中实现无监督的解缠结潜在表示的方法,通过在VAE的潜在空间中引入反Wishart先验来实现潜变量之间的统计独立性,能够在多个数据集上优于beta-VAE和与最先进的FactorVAE相竞争。
Sep, 2018
本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设,通过实验研究发现,不加监督训练的模型很难达到良好的分离效果,同时,增加分离度似乎不会降低学习的样本复杂度,未来的研究应该关注归纳偏置和(隐式)监督的作用,考虑在多个数据集上复现实验结果。
Nov, 2018
本文提出了VAEs的解耦合方法,即分解潜在表示,通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦,还可通过引入先验来实现其他更丰富类型的约束,并通过控制先验和潜在空间分布来改善解耦效果。此外,还介绍了另一套训练目标和先验选择来控制分解和解耦,并对β-VAE在控制潜在空间重叠方面的性质进行了分析。
Dec, 2018
本文提供了一种使用预训练网络来学习数据的解缠表示的方法,以实现最小的监督,同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。
May, 2020
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对8个数据集进行超过14,000个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是“解开的”上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020
在这项研究中,我们通过将神经网络自编码器与三种从文献中选取的归纳偏差相结合,即通过量化将数据压缩成网格状潜在空间、潜在变量之间的集体独立性和最小功能对其他潜在变量数据生成的功能影响减至最小,提出了一种新的模型Tripod,该模型在四个图像分离基准测试中取得了最先进的结果,实验证明Tripod明显优于其朴素形式,并且其三个“腿”对于最佳性能是必要的。
Apr, 2024
本研究解决了解耦表示学习中的真相信息缺失问题,提出了一种通过离散变分自编码器(VAE)来实现解耦的新方法。研究表明,结合全局代码簿的标量量化和总相关优化项能够显著提升解耦效果与重构性能,FactorQVAE方法在两个解耦指标上优于以往的解耦方法,具有重要的应用潜力。
Sep, 2024
本研究针对当前无监督解缠表示学习(DRL)中的潜在单元不明确的问题,提出了一种新的动态高斯锚定方法,以确保各个潜在单元只表达单一特征,从而增强解缠表示的可解释性。研究表明,该方法在合成和真实数据上均展现出了最先进的解缠表现,对下游任务也具有显著优势。
Oct, 2024