学习解缠离散表示

Jul, 2023

Learning Disentangled Discrete Representations

David Friede, Christian Reimers, Heiner Stuckenschmidt, Mathias Niepert

TL;DR通过将标准的高斯变分自编码器（VAE）替换为量身定制的分类变分自编码器，我们探究了离散潜变量空间与解耦表示之间的关系。我们展示了分类分布的基础网格结构可以减轻与多变量高斯分布相关的旋转不变性问题，并作为解耦表示的高效先验。我们提供了分析和经验证据表明，离散 VAE 在学习解耦表示方面的优势。此外，我们引入了第一个偏向于解耦表示的无监督模型选择策略。

Abstract

Recent successes in image generation, model-based reinforcement learning, and text-to-image generation have demonstrated the empirical advantages of discrete latent representations, although the reasons behind their benefits remain unclear. We explore the relationship between discrete latent spaces and →

discrete latent representations disentangled representations categorical variational autoencoder rotational invariance unsupervised model selection

发现论文，激发创造

学习分离的联合连续和离散表征

本文提出了一种框架来无监督地学习清晰而可解释的连续和离散化的表示形式，通过增加变分自动编码机的连续潜在分布，并控制每个潜在单元中编码的信息量，展示了如何自动地从数据中发现连续和分类变化因素。实验结果显示，该框架在各种数据集上对连续和离散的生成因素进行了区分，并在离散生成因素突出时优于当前的 disentangling 方法。

Mar, 2018

神经离散表征学习

本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

Nov, 2017

半监督深度生成模型学习分离表示

该研究提出了一种使用图形模型和深度神经网络架构的变分自编码器，能够学习到不同的表示形式，进一步实现半监督学习，其生成的能力和区分能力也得到了充分验证。

Jun, 2017

离散变分自编码器在自然语言生成因素分离中的应用

本文提出一种基于变分自编码器（Variational Autoencoder）的新方法来实现对自然语言处理（NLP）系统的解释，并将文本语言特征建模为离散变量以实现学习解缠编码表示，实验结果显示该方法在多个基准测试和一个文本风格迁移后处理应用中表现优异且优于基于连续和离散变量的基准模型。

Sep, 2021

逐步学习和分离层次表示

通过渐进式学习独立层级表示，本文提出了一种策略来提高 Deep Generative Models 如 Variational Auto-Encoder 的去纠缠性能，该模型从最抽象的表示开始学习，并逐渐增加网络结构以介绍不同层次的表示。在两个基准数据集上，本文通过三个去纠缠度量定量地证明了所提出模型相比于现有作品的改进，包括我们提出的补充相互信息差度量。我们提供了定性和定量的证据，论证了学习进程如何提高分解成层级表示的性能。本文通过同时利用层级表示学习和渐进式学习的优势，是我们目前发现的第一次尝试通过逐步增加 VAE 的能力来提高去纠缠性。

Feb, 2020

学习自然语言定义的解耦表示

使用可表征语法和语义规律的定义句类别训练变分自编码器，并在多个测试中展现其成功解耦表示效果，以及在定义建模中得到的改善。

Sep, 2022

多层变分自编码器：从分组观察中学习解耦表示

提出了 Multi-Level Variational Autoencoder 用于学习语义上相关并解耦的潜变量表示，将工作集中在组别和个体水平上的同时保持高效的测试时推理，以便对相关变量进行无监督控制。

May, 2017

线性解缠表示和无监督动作估计

通过改变损失函数的设置，可以在 VAE 模型中诱导线性分离表示，这是一种理想的表示形式，符合经典分离指标，并提出了一种方法诱导不可约表示。

Aug, 2020

离散变分自编码器

该研究提出了一种使用变分自编码器框架中的反向传播通过离散潜在变量训练带有离散潜变量的概率模型的新方法，能够有效地从无监督数据中学习对象的类别和像素级别的信息，并在 MNIST，Omniglot 和 Caltech-101 Silhouettes 数据集上比其他方法更加先进。

Sep, 2016

通过循环一致变分自编码器分离变异因素

本文提出了一种使用弱监督来将潜在空间分离成两个互补子空间的新架构，使用变分自编码器中的循环一致性，获得鼓舞人心的结果，并与利用对抗训练的最近作品进行了比较。

Apr, 2018