NIPSMar, 2018

学习分离的联合连续和离散表征

PDF
TL;DR本文提出了一种框架来无监督地学习清晰而可解释的连续和离散化的表示形式，通过增加变分自动编码机的连续潜在分布，并控制每个潜在单元中编码的信息量，展示了如何自动地从数据中发现连续和分类变化因素。实验结果显示，该框架在各种数据集上对连续和离散的生成因素进行了区分，并在离散生成因素突出时优于当前的 disentangling 方法。
disentangled learninginterpetable representationsvariational autoencodersunsupervised learningcontinuous and categorical factors
发现论文，激发创造
  • 学习解缠离散表示

    通过将标准的高斯变分自编码器（VAE）替换为量身定制的分类变分自编码器，我们探究了离散潜变量空间与解耦表示之间的关系。我们展示了分类分布的基础网格结构可以减轻与多变量高斯分布相关的旋转不变性问题，并作为解耦表示的高效先验。我们提供了分析和经验证据表明，离散 VAE 在学习解耦表示方面的优势。此外，我们引入了第一个偏向于解耦表示的无监督模型选择策略。

    Jul, 2023

  • 离散变分自编码器在自然语言生成因素分离中的应用

    本文提出一种基于变分自编码器（Variational Autoencoder）的新方法来实现对自然语言处理（NLP）系统的解释，并将文本语言特征建模为离散变量以实现学习解缠编码表示，实验结果显示该方法在多个基准测试和一个文本风格迁移后处理应用中表现优异且优于基于连续和离散变量的基准模型。

    Sep, 2021

  • 通过交替解缠学习数据的离散和连续因子

    本文提出一种新方法实现无监督离散和连续特征分离，利用 Beta-VAE 框架通过级联信息流方式最小化连续潜变量的总相关性，并通过分离离散特征的推理过程减轻编码器负担，最后在实验中显示其显著优于现有方法的分离得分和推理网络分类得分。

    May, 2019

  • 无监督学习序列数据的分离和可解释表示

    本文提出一种分解的分层变分自动编码器，能够在无监督的情况下从序列数据中学习分离和可解释的表征。该模型基于多尺度信息的分层结构，实现了针对不同潜变量集合的序列依赖先验和序列无关先验。通过在两个语音语料库上的实验，表明该模型能够通过操纵不同的潜变量集合来转换说话人或语言内容，并在说话人验证和自动语音识别任务中优于基线模型。

    Sep, 2017

  • 从未标记的观测中变分推断出解耦的潜在概念

    本文提出一个基于变分推理的方法，从大量未标记的观察中推断分离的潜在因素，通过对所观察数据的近似后验期望引入正则化项，从而鼓励分离；同时，提出了一种新的分离度量，与解码器输出中观察到的定性分离更加一致，经实验证明，在分离度和数据似然（重建质量）方面存在显著的改进。

    Nov, 2017

  • 结构化解耦表征

    本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度，以通过非监督学习从高维数据中学习无监督表示，实验结果显示该目标函数可以解开离散变量，并提高其他变量的解开程度和泛化能力。

    Apr, 2018

  • 通过循环一致变分自编码器分离变异因素

    本文提出了一种使用弱监督来将潜在空间分离成两个互补子空间的新架构，使用变分自编码器中的循环一致性，获得鼓舞人心的结果，并与利用对抗训练的最近作品进行了比较。

    Apr, 2018

  • 基于分组学习的去耦合表示学习方法，具有对新领域具有良好的泛化能力

    本研究提出了一种基于组的变分自编码器模型，能够从多个数据集中无需标签的情况下，对数据进行解耦，并将其分为内容因素与变化因素，从而实现变换不变性和内容泛化能力。

    Sep, 2018

  • 学习自然语言定义的解耦表示

    使用可表征语法和语义规律的定义句类别训练变分自编码器，并在多个测试中展现其成功解耦表示效果，以及在定义建模中得到的改善。

    Sep, 2022

  • 自然聚类下的鲁棒表征学习和解排

    我们提出 N-VAE，一种深度模型，能够检测和区分不同类别之间独有和共享的可变因素，并生成包含训练数据中看不到特征的人工样本。

    Jan, 2019