利用配对相似性进行弱监督解缠
本文研究了参数 $eta$ 对分离自编码机性能和分离能力的影响,通过训练多个模型,发现其能够将独立输入生成因素编码为代码的单独元素,从而提高了模型行为的可解释性和可预测性。同时,也确定了分离对自编码机判别能力的负面影响。
Nov, 2017
我们提出了一种基于Total Correlation Variational Autoencoder的无监督学习方法,用以生成disentangled representations,并介绍了一种分类器无关的disentanglement度量,称为mutual information gap (MIG)。通过对restricted和non-restricted实验结果的定量和定性分析,我们展示了latent variables model 的total correlation和disentanglement之间的强关联关系。
Feb, 2018
本文提出了一种使用弱监督来将潜在空间分离成两个互补子空间的新架构,使用变分自编码器中的循环一致性,获得鼓舞人心的结果,并与利用对抗训练的最近作品进行了比较。
Apr, 2018
研究了当领域匹配、限定标签、匹配对和rank-pairing等弱监督方法与基于分布匹配的学习算法相结合时,弱监督何时以及如何保证解缠缚表示的理论框架及其保证和局限性,并通过实验证明了我们理论框架的预测能力和有用性。
Oct, 2019
本文讨论了利用弱监督方法进行可变自编码器(Variational AutoEncoders,VAEs)的训练过程,并提出了一种称为Gated-VAE的新模型来实现VAEs的解缠结性。该方法包括对表示嵌入进行划分和门控反向传播。实验结果表明,采用门控反向传播,比采用不带门控的VAEs模型在平均解缠结度、完整度和信息量方面都有所提高。
Nov, 2019
该论文指出只需要知道环境中有多少因素发生了变化,而不必了解哪些因素发生了变化,就足以学习到分离的表征,同时实验表明,这种弱监督方式足以在多个基准数据集上可靠地学习到分离的表征,并在多个任务上发挥作用,包括协变量漂移下的一般化、公平性和抽象推理。
Feb, 2020
提出一种名为SW-VAE的新型弱监督训练方法,该方法利用数据集的生成因素将输入观测对作为监督信号进行训练,并且引入了逐渐增加学习难度的策略来平滑训练过程。通过多个数据集的实验证明,该模型在表示分离任务上显示出明显的优于最先进方法的改进。
Sep, 2022