EMNLPFeb, 2022

低资源任务特定自然语言生成的解缠自编码器

PDF
TL;DR本文提出了一种具有解缩先验的变分自编码器 VAE-DPRIOR，用于无或很少任务特定标记示例的特定任务自然语言生成。我们通过为隐藏内容空间引入条件先验和为隐藏标签空间引入另一个条件先验来执行分解表示学习，以应对跨任务的组合泛化，并展示了这些新型先验即使在先前的工作中没有特定正则化也能够分解表示。内在内容先验使得从训练过的任务的内容空间中直接采样多样化内容表示成为可能，并将它们与新任务的表示融合，以在低资源环境下生成语义多样化的文本。我们的广泛实验展示了我们的模型在连续零 / 少样本学习中数据增强和在少样本设置中文本风格转移方面的卓越性能。
variational autoencoderdisentangled representation learningtask-specific natural language generationcompositional generalizationconditional prior
发现论文，激发创造
  • 用对比学习的方法训练变分自编码器先验

    针对变分自编码器的先验洞问题，我们提出了一种能源化先验，通过基础先验分布和重新加权因子的乘积来定义，以使基础先验更接近集体后验，并通过噪声对比估计来训练重新加权因子，实验证明此方法可以大幅提高 MNIST、CIFAR-10、CelebA 64 和 CelebA HQ 256 数据集上的最先进 VAE 的生成性能。

    Oct, 2020

  • 变分自编码器的解缠学习在音视频语音增强中的应用

    本文提出了一种适用于变分自动编码器的对抗训练方案，用以将标签与变量区分开来，提高语音增强的性能。通过对比标签估计值和实际值，可以证明该方案的有效性。

    May, 2021

  • 引导式变分自编码器用于分离式学习

    设计一种算法 Guided-VAE，通过提供信号来实现 VAE 的潜在编码 / 嵌入，以学习可控的生成模型，该算法在表示学习，合成 / 采样改进，分类中取得了更好的效果

    Apr, 2020

  • 高级条件变分自编码器（A-CVAE）：通过解离潜在特征表示进行开放领域对话生成解释的探索

    本研究旨在通过介绍一种认知方法，利用先前的知识驱动生成模型，实现在中尺度特征分离中调节潜在变量，使得深度学习的开放领域对话系统可以生成更高质量和更可解释性的对话。

    Jul, 2022

  • 超先验引导的无监督潜在表征分离

    本研究提出了一种在深度生成模型中实现无监督的解缠结潜在表示的方法，通过在 VAE 的潜在空间中引入反 Wishart 先验来实现潜变量之间的统计独立性，能够在多个数据集上优于 beta-VAE 和与最先进的 FactorVAE 相竞争。

    Sep, 2018

  • 学习解缠离散表示

    通过将标准的高斯变分自编码器（VAE）替换为量身定制的分类变分自编码器，我们探究了离散潜变量空间与解耦表示之间的关系。我们展示了分类分布的基础网格结构可以减轻与多变量高斯分布相关的旋转不变性问题，并作为解耦表示的高效先验。我们提供了分析和经验证据表明，离散 VAE 在学习解耦表示方面的优势。此外，我们引入了第一个偏向于解耦表示的无监督模型选择策略。

    Jul, 2023

  • 变分自编码器中的解缠纷问题

    本文提出了 VAEs 的解耦合方法，即分解潜在表示，通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦，还可通过引入先验来实现其他更丰富类型的约束，并通过控制先验和潜在空间分布来改善解耦效果。此外，还介绍了另一套训练目标和先验选择来控制分解和解耦，并对 β-VAE 在控制潜在空间重叠方面的性质进行了分析。

    Dec, 2018

  • 基于条件 DSVAE 的零样本语音转换改进

    通过条件的 DSVAE 模型，将内容信息的分离，并在语音转换方面实现更好的性能。

    May, 2022

  • 半监督深度生成模型学习分离表示

    该研究提出了一种使用图形模型和深度神经网络架构的变分自编码器，能够学习到不同的表示形式，进一步实现半监督学习，其生成的能力和区分能力也得到了充分验证。

    Jun, 2017

  • 半监督学习的解缩变分自编码器

    本文提出了一种名为 SDVAE 的半监督变分自编码器，其将输入数据转化为可解释和不可解释的特征表示，使用分类信息来规范可解释的特征表示，并使用强化学习来增强特征学习能力，此框架适用于图像和文本数据。

    Sep, 2017