分解表示对抽象视觉推理有帮助吗?
本研究探究了利用解缠VAE学习一组从渡鸦渐进矩阵派生而来的关系推理问题的有用潜在空间的无监督表示学习的泛化特性,并显示出通过正确的目标函数使用无监督训练学习的潜在表示显着优于仅使用监督学习训练的相同体系结构,尤其是在泛化方面。
Nov, 2018
本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设,通过实验研究发现,不加监督训练的模型很难达到良好的分离效果,同时,增加分离度似乎不会降低学习的样本复杂度,未来的研究应该关注归纳偏置和(隐式)监督的作用,考虑在多个数据集上复现实验结果。
Nov, 2018
该研究提出了一种理论上的度量方法来评估机器学习中所谓的disentangled representations的质量,这些方法可以让不同的机器学习模型公平地进行比较。
Aug, 2019
该论文指出只需要知道环境中有多少因素发生了变化,而不必了解哪些因素发生了变化,就足以学习到分离的表征,同时实验表明,这种弱监督方式足以在多个基准数据集上可靠地学习到分离的表征,并在多个任务上发挥作用,包括协变量漂移下的一般化、公平性和抽象推理。
Feb, 2020
本文提出了一个新的高分辨率数据集,其中包括1M个模拟图像和1800个带注释的现实世界图像,以评估分解表示学习到未见过的模拟和实际环境中的泛化能力,研究表明分解表示学习是识别未知分布下任务性能的有效预测因素。
Oct, 2020
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对8个数据集进行超过14,000个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是“解开的”上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020
该研究提出可识别地探索嵌入空间的概念,是在没有人类标签的情况下,通过搜索训练的嵌入空间中可解释的概念,比如物体的形状或颜色来提供后续的决策解释。通过展示PCA和ICA能够恢复非高斯分布的独立概念,再提出两种基于图像生成模型可组合性的方法来恢复相关概念,该研究提供了没有人类标签可靠概念发现的坚实基础。
Jun, 2022
本研究解决了在分离表示学习领域中缺乏可靠且一致的量化评估度量的问题。通过全面分析现有度量,提出了一种新框架和度量指标EDI,该指标利用“独占性”这一直观概念,引入了改进的因子-编码关系,展现出比现有度量更优的稳定性和重要特性,建议将其作为标准化方法使用。
Oct, 2024