本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设,通过实验研究发现,不加监督训练的模型很难达到良好的分离效果,同时,增加分离度似乎不会降低学习的样本复杂度,未来的研究应该关注归纳偏置和(隐式)监督的作用,考虑在多个数据集上复现实验结果。
Nov, 2018
针对学习解耦表示是表示学习中重要的问题,本文调查研究了少量监督如何影响现有的解耦学习方法,并进行了大规模实验,结果表明,即使标签不完全或不准确,使用少量的标记训练样本可以对现有的解耦学习模型进行模型选择,并证实引入监督可以有效地学习解耦表示。
May, 2019
该研究提出了一种理论上的度量方法来评估机器学习中所谓的disentangled representations的质量,这些方法可以让不同的机器学习模型公平地进行比较。
Aug, 2019
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对8个数据集进行超过14,000个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是“解开的”上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020
探讨了一种无监督的去卷积方法,在使用没有去卷积术语的生成模型中提取去卷积表示,以获得与现有技术相当的结果。
Feb, 2021
这篇论文提出了一种名为DISSECT的新方法,该方法可以有效地实现生成解释、概念解缠、反事实解释、可解释性和偏见检测等课题。该方法使用少量监督同时训练生成器、鉴别器和概念解缠器,通过生成分类器辨别信号的生成模型,能够自动发现分类器固有的不同概念。应用该方法能够检测分类器的潜在偏见和识别影响预测的虚假因素。
May, 2021
本文研究基于对比学习的正则化方法来实现大规模数据集的非监督式解缠表示学习,并分析了不同正则化方法的利弊与下游任务性能表现。
Aug, 2021
该研究提出可识别地探索嵌入空间的概念,是在没有人类标签的情况下,通过搜索训练的嵌入空间中可解释的概念,比如物体的形状或颜色来提供后续的决策解释。通过展示PCA和ICA能够恢复非高斯分布的独立概念,再提出两种基于图像生成模型可组合性的方法来恢复相关概念,该研究提供了没有人类标签可靠概念发现的坚实基础。
Jun, 2022
本文介绍了在 deep learning 模型的 concept-based explanations 框架下使用 disentanglement learning 模型的相关指标来评估 concept representations 的纯度,并验证了这些新指标的有效性和它们在评估纯度、干预和基准测试等方面的实用性。
Jan, 2023
研究表明,对于下游任务而言,维度上解耦表示是不必要的,而表示的信息性比解耦性更好地预示了下游任务的性能。
Mar, 2024