NIPSSep, 2017

无监督学习序列数据的分离和可解释表示

PDF
TL;DR本文提出一种分解的分层变分自动编码器，能够在无监督的情况下从序列数据中学习分离和可解释的表征。该模型基于多尺度信息的分层结构，实现了针对不同潜变量集合的序列依赖先验和序列无关先验。通过在两个语音语料库上的实验，表明该模型能够通过操纵不同的潜变量集合来转换说话人或语言内容，并在说话人验证和自动语音识别任务中优于基线模型。
发现论文，激发创造
  • S3VAE：自监督序列 VAE 进行特征解缕和数据生成

    该论文提出了一种顺序变分自编码器，利用自监督方法，通过利用输入数据自身或外部模型提供的监督信号设计辅助任务，轻松将输入序列表示分解为静态因素和动态因素，并在视频和音频等领域的综合实验中证明其在表示分解和序列数据生成方面的有效性。

    May, 2020

  • 可扩展的分解层次变分自编码器训练

    本文介绍一种基于变分推断的分层生成过程的因式分解分层变分自编码器（FHVAE）模型，该模型在许多语音应用方面已被证明可行，但其原始论文中提出的训练算法不适用于规模更大的数据集。本文提出了一种分层采样训练算法来解决这一问题，并对不同类型的数据集进行了全面评估，证明了我们提出的算法对所有数据集都表现出所需的特性。

    Apr, 2018

  • 多层变分自编码器：从分组观察中学习解耦表示

    提出了 Multi-Level Variational Autoencoder 用于学习语义上相关并解耦的潜变量表示，将工作集中在组别和个体水平上的同时保持高效的测试时推理，以便对相关变量进行无监督控制。

    May, 2017

  • 学习分离的联合连续和离散表征

    本文提出了一种框架来无监督地学习清晰而可解释的连续和离散化的表示形式，通过增加变分自动编码机的连续潜在分布，并控制每个潜在单元中编码的信息量，展示了如何自动地从数据中发现连续和分类变化因素。实验结果显示，该框架在各种数据集上对连续和离散的生成因素进行了区分，并在离散生成因素突出时优于当前的 disentangling 方法。

    Mar, 2018

  • 半监督深度生成模型学习分离表示

    该研究提出了一种使用图形模型和深度神经网络架构的变分自编码器，能够学习到不同的表示形式，进一步实现半监督学习，其生成的能力和区分能力也得到了充分验证。

    Jun, 2017

  • 离散变分自编码器在自然语言生成因素分离中的应用

    本文提出一种基于变分自编码器（Variational Autoencoder）的新方法来实现对自然语言处理（NLP）系统的解释，并将文本语言特征建模为离散变量以实现学习解缠编码表示，实验结果显示该方法在多个基准测试和一个文本风格迁移后处理应用中表现优异且优于基于连续和离散变量的基准模型。

    Sep, 2021

  • 结构化解耦表征

    本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度，以通过非监督学习从高维数据中学习无监督表示，实验结果显示该目标函数可以解开离散变量，并提高其他变量的解开程度和泛化能力。

    Apr, 2018

  • 因式分解解开纠缠

    我们提出了一种被称为 FactorVAE 的方法，它可以无监督地学习从独立变化因素生成的数据中发现因素解耦的表示，并通过提供更好的解耦和重构质量之间的平衡得到改进。此外，我们还介绍了一个新的解耦评估度量，并阐明了常用的解耦评估度量存在的问题。

    Feb, 2018

  • 超先验引导的无监督潜在表征分离

    本研究提出了一种在深度生成模型中实现无监督的解缠结潜在表示的方法，通过在 VAE 的潜在空间中引入反 Wishart 先验来实现潜变量之间的统计独立性，能够在多个数据集上优于 beta-VAE 和与最先进的 FactorVAE 相竞争。

    Sep, 2018

  • 逐步学习和分离层次表示

    通过渐进式学习独立层级表示，本文提出了一种策略来提高 Deep Generative Models 如 Variational Auto-Encoder 的去纠缠性能，该模型从最抽象的表示开始学习，并逐渐增加网络结构以介绍不同层次的表示。在两个基准数据集上，本文通过三个去纠缠度量定量地证明了所提出模型相比于现有作品的改进，包括我们提出的补充相互信息差度量。我们提供了定性和定量的证据，论证了学习进程如何提高分解成层级表示的性能。本文通过同时利用层级表示学习和渐进式学习的优势，是我们目前发现的第一次尝试通过逐步增加 VAE 的能力来提高去纠缠性。

    Feb, 2020