Nov, 2023

基于 Transformer 的变分自编码器中的图引发的句法 - 语义空间

PDF
TL;DR通过多任务学习或双编码器架构将分布语义特征和句法结构的编码分离成异构的潜空间，整合基于图和序列模型，通过低秩算子将多个专门的潜在表示注入解码器的注意机制，结果显示所提出的端到端 VAE 架构可以得到更好的潜空间整理，减轻标准 VAE 架构中发生的信息丢失，从而改善语言建模和下游生成任务的性能。
syntactic informationvariational autoencoderslatent space separationtransformer-based vae architecturesend-to-end vae architecture
发现论文，激发创造
  • 从解耦的句法和语义空间生成句子

    本文提出了一种基于变分自编码器的模型，通过在模型的潜在空间中使用线性化树序列显式建模句法信息，从而生成来自分离的句法和语义子空间的句子，并能应用于无监督的释义生成和句法转换等任务，实验结果优于现有相关工作。

    Jul, 2019

  • 基于语法的变分自编码器用于文本生成

    本研究提出了一种语法融入变分自编码器（SIVAE），通过集成句法树来提高生成句子的语法，在生成模型上有独立的潜变量空间，可以用于句法控制的句子生成和无监督的改写任务。

    Jun, 2019

  • 可解释的句子表示：变分自编码器和注意力机制

    提出使用变分自编码器和 Transformers 构建两种具有归纳偏置的模型，可将潜在表示中的信息分离成可理解的概念，其中 QKVAE 在转移实验中表现出竞争性能，并展示了明显的优化句法角色分离能力。

    May, 2023

  • 利用变压器量化变分自编码器改进离散潜空间中的语义控制

    通过使用 Vector Quantized Variational AutoEncoders (VQVAEs) 内的离散潜空间来提高 Transformer-based VAE 中的语义控制和生成性能，我们提出了一种新型模型 T5VQVAE，利用 VQVAEs 的可控性来引导 T5 中的自注意机制，从而更好地保留语义信息并取得优于现有 VAE 模型（包括 Optimus）的性能，在自动编码、文本转换和推理等不同任务中。此外，T5VQVAE 还表现出了改进的推理能力，为下游自然语言和符号推理任务提供了潜在的应用。

    Feb, 2024

  • 利用 Transformer 中的归纳偏置基于 VAEs 无监督地解离句法和语义

    该研究提出了一种生成模型，展示了句法和语义的解耦合潜在表示，通过 Transformers 中注意力机制的归纳偏差生成文本，证明该模型对语法和语义具有明显的解耦效果，与有监督模型相比，具有较高的语法传递能力。

    May, 2022

  • 面向结构化数据的语法导向变分自编码器

    通过引入 stochastic lazy attributes，提出了一种基于语法制导的变分自编码器以捕捉离散结构的语法和语义约束，并使用编程语言和分子优化等应用程序对其进行了评估。

    Feb, 2018

  • LlaMaVAE: 通过连续的潜在句子空间指导大型语言模型生成

    深度生成神经网络（如变分自动编码器）与大型语言模型相结合，得到了更好的文本生成控制，并在各种任务中表现出了优于现有模型的性能。

    Dec, 2023

  • 通过句法角色实现句子表示中的无监督内容解缠

    本研究通过基于注意力的概率生成模型，建立了句子中不同句法角色的潜在变量之间的交互关系，并证明了在无监督情况下可以对句法角色进行拆分与控制，为无监督内容生成提供了一种有效的方法。

    Jun, 2022

  • 隐式模式网络

    提出了一种基于神经语言模型和变分自编码器（VAE）的语义可解释的组合表示学习方法，该方法能够从文本数据集中发现符号网络（模式），并在语言建模任务上取得了最先进的结果。

    Jul, 2022

  • 神经机器翻译的潜在词性序列

    本文介绍一种新的基于 latent variable 的神经机器翻译模型 LaSyn，通过修改基于 transformer 的 NMT 系统并使用基于词性信息的神经期望最大化算法作为 latent sequences 的正则化方法，实现了对目标语言句子结构的有效和高效推理，从而提高了翻译的质量和多样性。

    Aug, 2019