May, 2023

丰富分离：从定义到度量

PDF
TL;DR本文研究了解离散表示学习的定义，并介绍了将等式定义转化为基于丰富范畴论的相容量化评估标准的系统方法。我们提出了适用于评估去迭代复杂数据的可分离表示抽取器所需性质的量化度量标准，并展示了它们在合成数据上的有效性。我们的方法为研究人员选择合适的评估标准和设计有效的离散表示学习算法提供了实用指导。
disentangled representation learningmetricsquantitative metricenriched category theoryevaluation metrics
发现论文，激发创造
  • 度量解缠性：指标综述

    本文综述了学习因素分离和表示在人工智能中的重要性，提出了影响因素分离度量的三个家族，即基于干预、基于预测和基于信息的，通过实验和分析揭示了具有因素分离特性的表示的属性之间的关系，并提供了衡量因素分离的指导方针。

    Dec, 2020

  • 学习分离表征的理论和评价度量

    该研究提出了一种理论上的度量方法来评估机器学习中所谓的 disentangled representations 的质量，这些方法可以让不同的机器学习模型公平地进行比较。

    Aug, 2019

  • 修正常见解缠度测度中的缺陷

    本论文提出两种新的基于分类问题的度量方法来评估编码器的解缠能力，这些度量方法解决了现有度量方法中的两个缺陷，并且发现这些度量方法与组合概括任务的表现强相关。

    Apr, 2023

  • 对解缠结定义的范畴论元分析

    本文通过范畴论作为一个统一严密框架，元分析了现有的解缠结概念定义，并认为笛卡尔积和幺模乘积应作为解缠结的核心概念，从函数、等变映射、关系和随机映射的角度展示了不同处理方式的相似性和重要差异。

    May, 2023

  • 利用部分信息分解进行解缠分析

    提出了一种分析多元表示如何解开基础生成因素的框架，通过部分信息分解方法分析多元表示中的信息共享并提出了新的分离度量，实验发现分离度量对纠缠反应正确，发现分离度量相似的自编码器模型在纠缠方面有不同的特征，需要采用不同的策略来获得分离表示。

    Aug, 2021

  • 分层解缠的基准、算法和指标

    本文介绍了用于学习具有层次结构表示的权威因素的基准、算法和指标，解决了代表学习中处理多种组合的上下文相关性、不确定性等实际生产过程的挑战。

    Feb, 2021

  • 关于非监督学习解耦表示及其评价的冷静观察

    本文提供了对无监督学习解开重要变动因素的最新发展的观点，旨在挑战一些常见的假设。本文首先从理论上证明了，无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着，通过对 8 个数据集进行超过 14,000 个模型的训练，本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性，但是没有监督的情况下，好的解开模型似乎无法被识别。此外，不同的评估指标并不总是在什么应该被认为是 “解开的” 上达成一致，而且在估计上表现出系统性差异。最后，增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明，关于解开学习的未来工作应该明确归因于诱导偏见和（隐含的）监督的作用，研究解开表示的具体好处，并考虑到涵盖几个数据集的可重复的实验设置。

    Oct, 2020

  • 面向概念表示评估的鲁棒度量方法

    本文介绍了在 deep learning 模型的 concept-based explanations 框架下使用 disentanglement learning 模型的相关指标来评估 concept representations 的纯度，并验证了这些新指标的有效性和它们在评估纯度、干预和基准测试等方面的实用性。

    Jan, 2023

  • 因果分离表示

    通过因果视角下关联因素的不懈探索，我们提出了两个衡量因果解缠的新指标及数据集，并在最新的表述学习器中进行了实证研究。

    Dec, 2021

  • 负样本无关对比学习的解缠实证研究

    本文提出了一种新的基于互信息的解缠度度量来研究负样本自由对比学习方法的解缠特性。作者在高维表示空间中将负样本自由对比学习方法引入解缠表示学习领域，并通过对流行的合成数据集和真实世界 CelebA 数据集的实验表明，该方法可以学到一个良好的解缠表示子集。

    Jun, 2022