改进分离表示评估度量的方法
本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设,通过实验研究发现,不加监督训练的模型很难达到良好的分离效果,同时,增加分离度似乎不会降低学习的样本复杂度,未来的研究应该关注归纳偏置和(隐式)监督的作用,考虑在多个数据集上复现实验结果。
Nov, 2018
该研究提出了一种理论上的度量方法来评估机器学习中所谓的disentangled representations的质量,这些方法可以让不同的机器学习模型公平地进行比较。
Aug, 2019
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对8个数据集进行超过14,000个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是“解开的”上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020
本文综述了学习因素分离和表示在人工智能中的重要性,提出了影响因素分离度量的三个家族,即基于干预、基于预测和基于信息的,通过实验和分析揭示了具有因素分离特性的表示的属性之间的关系,并提供了衡量因素分离的指导方针。
Dec, 2020
提出了一种分析多元表示如何解开基础生成因素的框架,通过部分信息分解方法分析多元表示中的信息共享并提出了新的分离度量,实验发现分离度量对纠缠反应正确,发现分离度量相似的自编码器模型在纠缠方面有不同的特征,需要采用不同的策略来获得分离表示。
Aug, 2021
本文将DCI框架连接到线性和非线性可识别性的两个概念,提出了一个具有两个新的表示质量度量的扩展DCI-ES框架,并指出了如何为黑盒预测器计算D和C;我们的主要想法是使用表示所需的功能容量是表示质量中至关重要的但迄今被忽视的方面,我们 quantified therefore quantified 用明确性或易用性(E);我们在MPI3D和Cars3D数据集上阐明了我们扩展的相关性。
Oct, 2022
本文介绍了在 deep learning 模型的 concept-based explanations 框架下使用 disentanglement learning 模型的相关指标来评估 concept representations 的纯度,并验证了这些新指标的有效性和它们在评估纯度、干预和基准测试等方面的实用性。
Jan, 2023
本论文提出两种新的基于分类问题的度量方法来评估编码器的解缠能力,这些度量方法解决了现有度量方法中的两个缺陷,并且发现这些度量方法与组合概括任务的表现强相关。
Apr, 2023
本文研究了解离散表示学习的定义,并介绍了将等式定义转化为基于丰富范畴论的相容量化评估标准的系统方法。我们提出了适用于评估去迭代复杂数据的可分离表示抽取器所需性质的量化度量标准,并展示了它们在合成数据上的有效性。我们的方法为研究人员选择合适的评估标准和设计有效的离散表示学习算法提供了实用指导。
May, 2023