通过协同最小化实现解耦表示
我们提出了一种基于Total Correlation Variational Autoencoder的无监督学习方法,用以生成disentangled representations,并介绍了一种分类器无关的disentanglement度量,称为mutual information gap (MIG)。通过对restricted和non-restricted实验结果的定量和定性分析,我们展示了latent variables model 的total correlation和disentanglement之间的强关联关系。
Feb, 2018
本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度,以通过非监督学习从高维数据中学习无监督表示,实验结果显示该目标函数可以解开离散变量,并提高其他变量的解开程度和泛化能力。
Apr, 2018
本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设,通过实验研究发现,不加监督训练的模型很难达到良好的分离效果,同时,增加分离度似乎不会降低学习的样本复杂度,未来的研究应该关注归纳偏置和(隐式)监督的作用,考虑在多个数据集上复现实验结果。
Nov, 2018
针对学习解耦表示是表示学习中重要的问题,本文调查研究了少量监督如何影响现有的解耦学习方法,并进行了大规模实验,结果表明,即使标签不完全或不准确,使用少量的标记训练样本可以对现有的解耦学习模型进行模型选择,并证实引入监督可以有效地学习解耦表示。
May, 2019
本文研究了因果变量在相关数据上的行为并分析了最主要的解缠方法在大规模实证研究(包括4260个模型)中的表现,结果显示数据集中系统性引入的相关性正在被学习并反映在潜在表示中,这对于解缠的下游应用如公平性有重要的影响,同时呈现了如何通过训练期间的弱监督或使用少量标签的预训练模型的后修复来解决这些潜在的相关性。
Jun, 2020
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对8个数据集进行超过14,000个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是“解开的”上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020
通过使用变分自动编码器,监督潜在表示仅然可达到好的结果,然而基于对抗学习和互信息最小化的辅助目标可以提供额外的脱缰效果,以此来将否定,不确定性和内容的表示相分离。
Apr, 2022
本文针对非线性独立成分分析的负面结果, 试图研究在没有条件独立性的辅助信息下如何实现解缠以及如何减少需要的辅助信息量。在一类模型中,我们证明理论上和实验上都可以实现解缠,即使辅助信息的维度远小于真实潜在表示的维度。
Apr, 2022
本文提出了一种基于多任务学习的有监督编码器,该编码器通过一个广泛的、多样化的有监督任务来学习一个共同的解缠表示,以从高维数据中恢复潜在因素的变化。该方法在多个真实情况下进行了验证,包括图像和文本数据等不同数据形式。
Apr, 2023
通过传递信息的贝叶斯网络,我们引入了DisTIB(传递信息瓶颈)作为一种导航信息压缩和保留之间平衡的新目标,通过可变推理和重参数化技巧获得了可优化的估计,实验证明其能够实现最优的解缠效果。
Nov, 2023