Jul, 2024

通过保持几何结构的Gromov-Monge间隙实现解缠表示学习

HTML
PDF
TL;DR通过使用几何约束中形态的保存，本研究在二次最优运输的基础上构建了对分离表征学习的新视角，提出了Gromov-Monge-Gap (GMG)这一量化不同空间分布的任意向前映射几何保存性的正则项。研究显示，GMG正则化能有效增强对四个标准基准数据集的分离表征学习，并且保持几何特性甚至能够在无需恢复目标制约的情况下，鼓励无监督的分离表征学习，使得模型在实际应用中更具可行性和可扩展性。
发现论文，激发创造
  • 因式分解解开纠缠

    我们提出了一种被称为FactorVAE的方法，它可以无监督地学习从独立变化因素生成的数据中发现因素解耦的表示，并通过提供更好的解耦和重构质量之间的平衡得到改进。此外，我们还介绍了一个新的解耦评估度量，并阐明了常用的解耦评估度量存在的问题。

    Feb, 2018

  • 无监督学习中解开表征的常见假设的挑战

    本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设，通过实验研究发现，不加监督训练的模型很难达到良好的分离效果，同时，增加分离度似乎不会降低学习的样本复杂度，未来的研究应该关注归纳偏置和(隐式)监督的作用，考虑在多个数据集上复现实验结果。

    Nov, 2018

  • 使用软最近邻损失进行表示分析和改进

    本文研究了 $ extit{Soft Nearest Neighbor Loss}$ 在表示空间中用于测量类流形间的 $ extit{entanglement}$，发现在隐藏层中最大化不同类别表征的 $ extit{entanglement}$ 有助于提高区分能力以及泛化效果。

    Feb, 2019

  • 通过流形拓扑评估深度生成模型的解缠结性

    本文提出了一种利用生成模型度量解缕编表示的方法。通过量化学习表示中条件子流形的拓扑相似性，该方法不依赖于外部模型或特定数据集即可测量解缕编程度。我们通过多个数据集上的实验表明了该方法的有效性和适用性，发现与现有方法相比，该方法能够很好地对模型进行排序。

    Jun, 2020

  • 关于非监督学习解耦表示及其评价的冷静观察

    本文提供了对无监督学习解开重要变动因素的最新发展的观点，旨在挑战一些常见的假设。本文首先从理论上证明了，无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着，通过对8个数据集进行超过14,000个模型的训练，本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性，但是没有监督的情况下，好的解开模型似乎无法被识别。此外，不同的评估指标并不总是在什么应该被认为是“解开的”上达成一致，而且在估计上表现出系统性差异。最后，增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明，关于解开学习的未来工作应该明确归因于诱导偏见和（隐含的）监督的作用，研究解开表示的具体好处，并考虑到涵盖几个数据集的可重复的实验设置。

    Oct, 2020

  • 无自编码的无监督解缠的陷阱和未来方向

    本文研究基于对比学习的正则化方法来实现大规模数据集的非监督式解缠表示学习，并分析了不同正则化方法的利弊与下游任务性能表现。

    Aug, 2021

  • 基于张量积表示的环面上无监督解缠

    该研究提出一种基于张量乘积结构的自编码器表示学习方法，其潜在空间具有基于环面的分布方式，能够有效地捕捉生成因素并实现变量的解耦。实验证明该方法在无监督学习中具有良好的完整性和信息量，代码开放在URL中。

    Feb, 2022

  • VAE解缠结先决条件: 感知重叠

    本文研究如何通过修改重建损失来实现VAE的去纠缠表征，并提出一种广义对抗训练的数据集来破解现有的去纠缠框架。

    Feb, 2022

  • 修正常见解缠度测度中的缺陷

    本论文提出两种新的基于分类问题的度量方法来评估编码器的解缠能力，这些度量方法解决了现有度量方法中的两个缺陷，并且发现这些度量方法与组合概括任务的表现强相关。

    Apr, 2023

  • 扩散模型分离潜变空间的等距表示学习

    使用等距扩散进行几何规则化，使扩散模型学习到一个几何上完整的训练数据流形的潜空间，实现了更加解耦的潜空间、更平滑的插值、更准确的反演以及对潜空间中属性的更精确控制。

    Jul, 2024