Jul, 2019

Wasserstein 自动编码器用于主题建模

PDF
TL;DR我们在 Wasserstein 自编码器（WAE）框架中提出了一种新颖的神经主题模型。通过直接在潜在文档 - 主题向量上施加狄利克雷先验，利用潜在空间的结构并应用合适的核，在最小化最大均值差异（MMD）中进行分布匹配，我们发现 MMD 在匹配高维度狄利克雷分布方面比生成对抗网络（GAN）表现更好。我们还发现，训练过程中在编码器输出中引入随机性可以产生更加连贯的主题。为了衡量所产生的主题的多样性，我们提出了一个简单的主题唯一性度量。结合广泛使用的语义相关性度量 NPMI，实验证明我们的模型比现有模型产生更好的主题质量。
发现论文，激发创造
  • Wasserstein 自编码器

    本文提出了 Wasserstein 自编码器（WAE）算法，通过最小化 Wasserstein 距离来构建数据分布的生成模型，并与其他技术进行比较，表明其是对抗自编码器（AAE）的推广，可用于生成更高质量的样本。

    Nov, 2017

  • 面向文本生成的主题引导变分自编码器

    该研究提出了一种基于主题引导的变分自编码器（TGVAE）模型，该模型使用高斯混合模型作为先验，建立了神经主题模块对语料中的主题进行指导性生成。实验结果表明，该模型在无条件和有条件文本生成方面优于传统的变分自编码器方法。

    Mar, 2019

  • 用狄利克雷变分自编码器进行文本建模

    介绍了一种更优秀的文本建模方法：将主题信息作为狄利克雷潜变量明确建模在变分自动编码机（VAE）中。提出的模型更适合重建输入文本，且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动，使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限，并在四个不同数据集上进行实验，结果表明，该模型在潜在空间的文本重建上更加优秀，并且所学特征的分类具有更高的测试准确性。

    Oct, 2018

  • 基于随机 Wasserstein 自编码器的概率句子生成

    本文介绍 Wasserstein 自编码器 (WAE) 的应用，用于概率句子生成，并与其他概率模型进行比较。研究表明，在 stochastic encoding 由固定分布制备时，该分布往往趋向于变成 Dirac delta function，于是提出了一种改进型 WAE 以鼓励编码的随机性，实验表明，该模型在保持与 VAE 相似的连续性和平滑性的同时，能更好的还原句子。

    Jun, 2018

  • Gromov-Wasserstein 自编码器

    本文提出了一种新的表征学习方法，Gromov-Wasserstein Autoencoders（GWAE），通过将 variational autoencoding scheme 与 Gromov-Wasserstein metric 相结合来直接匹配潜变量和数据分布，以实现在不改变其目标的情况下将 meta-priors 引入潜空间。

    Sep, 2022

  • DialogWAE: 条件 Wasserstein 自编码器的多模态响应生成

    提出了 DialogWAE，这是一种特殊设计的条件 WAE，用于对话建模，能够通过在潜变量空间内训练 GAN 来模拟数据的分布，并进一步发展了高斯混合先验网络，能够产生具有更连贯、更丰富和更多样化响应的结果。

    May, 2018

  • 基于 Wasserstein 自编码器的低维本质数据的统计分析

    研究论文通过适当选择网络结构，展示了 WAEs 能够学习数据分布，并且其收敛速度与特征维度无关，只依赖于数据分布的内在维度。

    Feb, 2024

  • 用 Wasserstein 自编码器进行并发密度估计：一些统计学见解

    通过神经网络引发的转换，我们从统计的角度提出了对 WAEs 机制的理论理解，并在存在敌对情况下分析了这些随机误差的传播，探索了重建分布的大样本特性和 WAE 模型的弹性。

    Dec, 2023

  • 关于 Wasserstein 自编码器的潜空间

    研究了 Wasserstein 自动编码器中潜在空间维度的作用，通过对合成和实际数据集的实验，提出了随机编码器应优于确定性编码器的观点，并强调了在基准解缠任务中代表学习的 WAE 的潜力。

    Feb, 2018

  • 联合 Wasserstein 自编码器用于多模态嵌入的对齐

    通过对多个视觉与文本模态的联合嵌入进行高斯规范化，本文应用 Wasserstein 自编码器对图像和文本的潜在表示进行编码，以确保生成的语义表示具有良好的连续性，从而实现语义对齐和跨数据集的表现。在交叉检索和短语定位上，我们展示了该方法的优越性，实现了最新的最优准确率，同时具有更好的泛化能力。

    Sep, 2019