本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设,通过实验研究发现,不加监督训练的模型很难达到良好的分离效果,同时,增加分离度似乎不会降低学习的样本复杂度,未来的研究应该关注归纳偏置和(隐式)监督的作用,考虑在多个数据集上复现实验结果。
Nov, 2018
本文通过大规模研究提供证据,证明在使用类似Raven渐进矩阵这样的抽象推理任务时,多个无监督的去卷积模型学到的分解表示模型比其他模型能够更快地学习并使用更少的样本,从而实现更好的下游性能表现。
May, 2019
本篇论文探讨了如何利用不同的解缠绕概念提高表示学习中多元回归模型的公平性,并证明在某些情况下,最优的和经验的预测结果都可能是不公平的。
本文提出了一个包含超过一百万张3D物体图像的数据集,以及在实验平台上运用机械臂移动物体的方式,以此来精确控制所有变化的因素,实现了不同解缠绕建模方法对模拟数据和真实数据的比对,研究结果表明模型选择是从模拟数据向真实数据传递信息的有效手段。
Jun, 2019
该论文指出只需要知道环境中有多少因素发生了变化,而不必了解哪些因素发生了变化,就足以学习到分离的表征,同时实验表明,这种弱监督方式足以在多个基准数据集上可靠地学习到分离的表征,并在多个任务上发挥作用,包括协变量漂移下的一般化、公平性和抽象推理。
Feb, 2020
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对8个数据集进行超过14,000个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是“解开的”上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020
探讨了一种无监督的去卷积方法,在使用没有去卷积术语的生成模型中提取去卷积表示,以获得与现有技术相当的结果。
Feb, 2021
本文提出了一种基于多任务学习的有监督编码器,该编码器通过一个广泛的、多样化的有监督任务来学习一个共同的解缠表示,以从高维数据中恢复潜在因素的变化。该方法在多个真实情况下进行了验证,包括图像和文本数据等不同数据形式。
Apr, 2023
研究表明,对于下游任务而言,维度上解耦表示是不必要的,而表示的信息性比解耦性更好地预示了下游任务的性能。
Mar, 2024
本研究解决了目前解耦表示学习在真实图像上的潜力未得到充分发挥的问题,特别是由于生成因素的相关性和真实标签的有限获取。通过利用合成数据学习通用的解耦表示并进行微调,我们的研究表明,在合成数据与真实数据之间转移代表性是可能且有效的,并提出了一种新的可解释干预式指标来评估代表性中的编码质量。
Sep, 2024