Aug, 2023

通过拓扑学习进行解缠学习

PDF
TL;DR通过加入多尺度拓扑损失项，我们提出了 TopDis（拓扑分解）方法，用于学习解耦表示。我们采用了一种不同的方法来分析数据流形的拓扑性质，并优化数据流形遍历的拓扑相似性，提出了一种可微分的解耦拓扑损失。我们的方法在无监督学习的情况下工作，并且通过实验证明，所提出的拓扑损失在与最先进结果相比的 MIG、FactorVAE 得分、SAP 得分和 DCI 解耦得分方面具有改进的效果。此外，我们展示了如何在训练好的生成对抗网络中使用所提出的拓扑损失来找到解耦方向。
发现论文，激发创造
  • 通过流形拓扑评估深度生成模型的解缠结性

    本文提出了一种利用生成模型度量解缕编表示的方法。通过量化学习表示中条件子流形的拓扑相似性，该方法不依赖于外部模型或特定数据集即可测量解缕编程度。我们通过多个数据集上的实验表明了该方法的有效性和适用性，发现与现有方法相比，该方法能够很好地对模型进行排序。

    Jun, 2020

  • VAE 解缠结先决条件：感知重叠

    本文研究如何通过修改重建损失来实现 VAE 的去纠缠表征，并提出一种广义对抗训练的数据集来破解现有的去纠缠框架。

    Feb, 2022

  • 逐步学习和分离层次表示

    通过渐进式学习独立层级表示，本文提出了一种策略来提高 Deep Generative Models 如 Variational Auto-Encoder 的去纠缠性能，该模型从最抽象的表示开始学习，并逐渐增加网络结构以介绍不同层次的表示。在两个基准数据集上，本文通过三个去纠缠度量定量地证明了所提出模型相比于现有作品的改进，包括我们提出的补充相互信息差度量。我们提供了定性和定量的证据，论证了学习进程如何提高分解成层级表示的性能。本文通过同时利用层级表示学习和渐进式学习的优势，是我们目前发现的第一次尝试通过逐步增加 VAE 的能力来提高去纠缠性。

    Feb, 2020

  • 变分自编码器中解交缠来源的隔离

    我们提出了一种基于 Total Correlation Variational Autoencoder 的无监督学习方法，用以生成 disentangled representations，并介绍了一种分类器无关的 disentanglement 度量，称为 mutual information gap (MIG)。通过对 restricted 和 non-restricted 实验结果的定量和定性分析，我们展示了 latent variables model 的 total correlation 和 disentanglement 之间的强关联关系。

    Feb, 2018

  • 生成对抗网络中的对比式解缠

    本文从对比学习的角度提出了一种新的对抗生成网络（CD-GAN）来解决因潜变量的后验推断和缺乏样本似然性而难以实现的生成模型因果解释的问题，它通过对比图像特征来实现对数据中不同类之间可辨别属性的提取，并通过仅有的有限监督来提高模型的性能。实验结果表明了该模型在多个数据集上对数据进行高效的可解释性特征提取。

    Mar, 2021

  • 使用 VAE 集成比较表示空间的信息内容与解缠

    用机器学习将数据集的信息划分为有意义的片段，通过研究多次训练运行中学习的通道作为信息片段的整合，并将表示子空间视为数据嵌入的概率分布进行相似度比较，最终实现 VAE 的集成学习以提升信息内容。

    May, 2024

  • 变分自编码器中的解缠纷问题

    本文提出了 VAEs 的解耦合方法，即分解潜在表示，通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦，还可通过引入先验来实现其他更丰富类型的约束，并通过控制先验和潜在空间分布来改善解耦效果。此外，还介绍了另一套训练目标和先验选择来控制分解和解耦，并对 β-VAE 在控制潜在空间重叠方面的性质进行了分析。

    Dec, 2018

  • 利用部分信息分解进行解缠分析

    提出了一种分析多元表示如何解开基础生成因素的框架，通过部分信息分解方法分析多元表示中的信息共享并提出了新的分离度量，实验发现分离度量对纠缠反应正确，发现分离度量相似的自编码器模型在纠缠方面有不同的特征，需要采用不同的策略来获得分离表示。

    Aug, 2021

  • 无自编码的无监督解缠的陷阱和未来方向

    本文研究基于对比学习的正则化方法来实现大规模数据集的非监督式解缠表示学习，并分析了不同正则化方法的利弊与下游任务性能表现。

    Aug, 2021

  • 几何检验的解缠绕拟符号解释自然语言推理

    本研究基于 VAE 框架，定量定性地评估了生成的潜在空间在向量操作和语义解缠方面的几何特性，实证结果表明潜在空间中的角色内容被解缠，这为通过操纵向量在潜在空间上的遍历来控制解释生成提供了机会。

    Oct, 2022