Feb, 2024

利用变压器量化变分自编码器改进离散潜空间中的语义控制

PDF
TL;DR通过使用 Vector Quantized Variational AutoEncoders (VQVAEs) 内的离散潜空间来提高 Transformer-based VAE 中的语义控制和生成性能，我们提出了一种新型模型 T5VQVAE，利用 VQVAEs 的可控性来引导 T5 中的自注意机制，从而更好地保留语义信息并取得优于现有 VAE 模型（包括 Optimus）的性能，在自动编码、文本转换和推理等不同任务中。此外，T5VQVAE 还表现出了改进的推理能力，为下游自然语言和符号推理任务提供了潜在的应用。
variational autoencoderssemantic controllatent spacesvector quantized variational autoencoderst5vqvae
发现论文，激发创造
  • 向量量化自编码器的理论与实验

    该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

    May, 2018

  • 基于 Transformer 的条件变分自编码器用于可控的故事生成

    本文提出了一种基于转换器和变分自动编码器（VAE）的条件变分自动编码器（CVAE）方法，在保持卓越的生成效果的同时增强了可控性和表征学习能力，实现了对长文本的神经故事生成。

    Jan, 2021

  • 神经离散表征学习

    本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

    Nov, 2017

  • 基于 Transformer 的变分自编码器中的图引发的句法 - 语义空间

    通过多任务学习或双编码器架构将分布语义特征和句法结构的编码分离成异构的潜空间，整合基于图和序列模型，通过低秩算子将多个专门的潜在表示注入解码器的注意机制，结果显示所提出的端到端 VAE 架构可以得到更好的潜空间整理，减轻标准 VAE 架构中发生的信息丢失，从而改善语言建模和下游生成任务的性能。

    Nov, 2023

  • 从解耦的句法和语义空间生成句子

    本文提出了一种基于变分自编码器的模型，通过在模型的潜在空间中使用线性化树序列显式建模句法信息，从而生成来自分离的句法和语义子空间的句子，并能应用于无监督的释义生成和句法转换等任务，实验结果优于现有相关工作。

    Jul, 2019

  • 利用语义耦合的 VQ 模型进行语义图像合成

    通过与向量量化模型预训练的条件式合成潜空间，联合学习条件潜空间和图像潜空间，进一步提高自回归模型的建模能力，并在多个图像数据集上验证其能有效改进语义图像合成性能。

    Sep, 2022

  • 分层量化自编码器

    该研究使用层次 VQ-VAE 近似压缩图像，同时保持感知质量和抽象特征。在 CelebA 和 MNIST 数据集上进行了定性和定量评估。

    Feb, 2020

  • 可解释的句子表示：变分自编码器和注意力机制

    提出使用变分自编码器和 Transformers 构建两种具有归纳偏置的模型，可将潜在表示中的信息分离成可理解的概念，其中 QKVAE 在转移实验中表现出竞争性能，并展示了明显的优化句法角色分离能力。

    May, 2023

  • 无监督条件下可控文本表示的变分学习

    本文发现，序列变分自编码器（VAE）在文本数据上训练时，由于修改后的编码值往往落在聚合后的后验潜空间中的空洞或空缺区域，导致译码网络无法推广，因此无法正确解码并控制操纵。为此我们建议在学习到的概率单纯形上约束后验均值，并在其内进行操作，以解决潜空缺陷问题，并在文本风格转移上取得了成功。

    May, 2019

  • 利用 Transformer 中的归纳偏置基于 VAEs 无监督地解离句法和语义

    该研究提出了一种生成模型，展示了句法和语义的解耦合潜在表示，通过 Transformers 中注意力机制的归纳偏差生成文本，证明该模型对语法和语义具有明显的解耦效果，与有监督模型相比，具有较高的语法传递能力。

    May, 2022