Feb, 2024

闭环无监督表示解缠与 $β$-VAE 蒸馏和扩散概率反馈

PDF
TL;DR通过提出一种称为 CL-Dis 的闭环无监督表示解缠方法，使用基于扩散的自动编码器（Diff-AE）作为主干，借助 β-VAE 作为副驾驶来提取语义解缠表示，并引入自监督导航策略来识别解缠潜空间中的可解释语义方向，最后设计了一种基于内容跟踪的新度量来评估解缠效果。实验表明，CL-Dis 在真实图像操作和视觉分析等应用中具有优越性。
representation disentanglementdiffusion-based autoencoderbeta-vaeclosed-loop unsupervised representationnavigation strategy
发现论文，激发创造
  • 引导式变分自编码器用于分离式学习

    设计一种算法 Guided-VAE，通过提供信号来实现 VAE 的潜在编码 / 嵌入，以学习可控的生成模型，该算法在表示学习，合成 / 采样改进，分类中取得了更好的效果

    Apr, 2020

  • 理解 $β$-VAE 中的解缠

    本文以率失真理论为角度，探讨优化 $eta$-VAE 的修正 ELBO 下界时，在训练过程中的潜在编码信息容量逐渐增加的情况下，哪些情况下会出现与数据生成因素相对应的编码表示，我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制的方法，可以在不降低重构精度的情况下有力地学习到解缠合表示。

    Apr, 2018

  • 门控变分自编码器：融合弱监督以促进解缠

    本文讨论了利用弱监督方法进行可变自编码器（Variational AutoEncoders，VAEs）的训练过程，并提出了一种称为 Gated-VAE 的新模型来实现 VAEs 的解缠结性。该方法包括对表示嵌入进行划分和门控反向传播。实验结果表明，采用门控反向传播，比采用不带门控的 VAEs 模型在平均解缠结度、完整度和信息量方面都有所提高。

    Nov, 2019

  • C$^2$VAE：基于高斯 Copula 的 VAE：区别由相联系的表示进行解耦的对比后验

    我们提出了一种自我监督的变分自动编码器（VAE），通过自我监督分类器来消除耦合表示，并联合学习解缠的和相关的隐藏因素。

    Sep, 2023

  • 无概念因果分解变分图自编码器

    提出了一种无监督学习的解决方案，称为无概念因果分解 (disentanglement)，通过在可观测数据中直接学习概念结构，提出了 CCVGAE 和 CC-Meta-Graph 模型，并在 AUC 方面分别取得了高达 29% 和 11% 的绝对改进。

    Nov, 2023

  • 高级条件变分自编码器（A-CVAE）：通过解离潜在特征表示进行开放领域对话生成解释的探索

    本研究旨在通过介绍一种认知方法，利用先前的知识驱动生成模型，实现在中尺度特征分离中调节潜在变量，使得深度学习的开放领域对话系统可以生成更高质量和更可解释性的对话。

    Jul, 2022

  • 学习解缠离散表示

    通过将标准的高斯变分自编码器（VAE）替换为量身定制的分类变分自编码器，我们探究了离散潜变量空间与解耦表示之间的关系。我们展示了分类分布的基础网格结构可以减轻与多变量高斯分布相关的旋转不变性问题，并作为解耦表示的高效先验。我们提供了分析和经验证据表明，离散 VAE 在学习解耦表示方面的优势。此外，我们引入了第一个偏向于解耦表示的无监督模型选择策略。

    Jul, 2023

  • 基于潜变量交换的弱监督学习解耦表示的 SW-VAE 模型

    提出一种名为 SW-VAE 的新型弱监督训练方法，该方法利用数据集的生成因素将输入观测对作为监督信号进行训练，并且引入了逐渐增加学习难度的策略来平滑训练过程。通过多个数据集的实验证明，该模型在表示分离任务上显示出明显的优于最先进方法的改进。

    Sep, 2022

  • VAE 解缠结先决条件：感知重叠

    本文研究如何通过修改重建损失来实现 VAE 的去纠缠表征，并提出一种广义对抗训练的数据集来破解现有的去纠缠框架。

    Feb, 2022

  • CF-VAE：利用 VAE 和因果流进行因果分离表示学习

    本文提出了一种结合因果结构信息的新型流模型 —— 因果流，设计了 CF-VAE 模型，通过利用因果流增强 VAE 编码器的解缠结能力。进一步引入地面真实因素的监督，证明了该模型的解纠缠可识别性。在合成和真实数据集上的实验结果表明，CF-VAE 可以实现因果解纠缠，并进行干预实验。此外，CF-VAE 在下游任务上表现出优异的性能，并有潜力学习因果因素之间的结构。

    Apr, 2023