分层解缠的基准、算法和指标
本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度,以通过非监督学习从高维数据中学习无监督表示,实验结果显示该目标函数可以解开离散变量,并提高其他变量的解开程度和泛化能力。
Apr, 2018
本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设,通过实验研究发现,不加监督训练的模型很难达到良好的分离效果,同时,增加分离度似乎不会降低学习的样本复杂度,未来的研究应该关注归纳偏置和(隐式)监督的作用,考虑在多个数据集上复现实验结果。
Nov, 2018
该研究提出了一种理论上的度量方法来评估机器学习中所谓的disentangled representations的质量,这些方法可以让不同的机器学习模型公平地进行比较。
Aug, 2019
通过渐进式学习独立层级表示,本文提出了一种策略来提高Deep Generative Models如Variational Auto-Encoder的去纠缠性能,该模型从最抽象的表示开始学习,并逐渐增加网络结构以介绍不同层次的表示。在两个基准数据集上,本文通过三个去纠缠度量定量地证明了所提出模型相比于现有作品的改进,包括我们提出的补充相互信息差度量。我们提供了定性和定量的证据,论证了学习进程如何提高分解成层级表示的性能。本文通过同时利用层级表示学习和渐进式学习的优势,是我们目前发现的第一次尝试通过逐步增加VAE的能力来提高去纠缠性。
Feb, 2020
本文提出了一种利用生成模型度量解缕编表示的方法。通过量化学习表示中条件子流形的拓扑相似性,该方法不依赖于外部模型或特定数据集即可测量解缕编程度。我们通过多个数据集上的实验表明了该方法的有效性和适用性,发现与现有方法相比,该方法能够很好地对模型进行排序。
Jun, 2020
提出了一种分析多元表示如何解开基础生成因素的框架,通过部分信息分解方法分析多元表示中的信息共享并提出了新的分离度量,实验发现分离度量对纠缠反应正确,发现分离度量相似的自编码器模型在纠缠方面有不同的特征,需要采用不同的策略来获得分离表示。
Aug, 2021
本论文提出两种新的基于分类问题的度量方法来评估编码器的解缠能力,这些度量方法解决了现有度量方法中的两个缺陷,并且发现这些度量方法与组合概括任务的表现强相关。
Apr, 2023
我们提出了两种新的度量方法:重要性加权正交性(IWO)和重要性加权排名(IWR)。这些度量方法评估了生成因子的子空间的互正交性和排名。通过在多个基准数据集和模型上进行广泛实验,我们发现,与传统的解缠度量方法相比,IWO和IWR与下游任务性能之间始终显示出更强的相关性。我们的发现表明,表示质量与独立生成过程的正交性更相关,而不是它们的解缠性,为评估和改进无监督学习模型提供了新的方向。
Jul, 2024
本研究解决了在分离表示学习领域中缺乏可靠且一致的量化评估度量的问题。通过全面分析现有度量,提出了一种新框架和度量指标EDI,该指标利用“独占性”这一直观概念,引入了改进的因子-编码关系,展现出比现有度量更优的稳定性和重要特性,建议将其作为标准化方法使用。
Oct, 2024