ACLMay, 2022

利用 Transformer 中的归纳偏置基于 VAEs 无监督地解离句法和语义

PDF
TL;DR该研究提出了一种生成模型，展示了句法和语义的解耦合潜在表示，通过 Transformers 中注意力机制的归纳偏差生成文本，证明该模型对语法和语义具有明显的解耦效果，与有监督模型相比，具有较高的语法传递能力。
发现论文，激发创造
  • 可解释的句子表示：变分自编码器和注意力机制

    提出使用变分自编码器和 Transformers 构建两种具有归纳偏置的模型，可将潜在表示中的信息分离成可理解的概念，其中 QKVAE 在转移实验中表现出竞争性能，并展示了明显的优化句法角色分离能力。

    May, 2023

  • 从解耦的句法和语义空间生成句子

    本文提出了一种基于变分自编码器的模型，通过在模型的潜在空间中使用线性化树序列显式建模句法信息，从而生成来自分离的句法和语义子空间的句子，并能应用于无监督的释义生成和句法转换等任务，实验结果优于现有相关工作。

    Jul, 2019

  • 基于 Transformer 的变分自编码器中的图引发的句法 - 语义空间

    通过多任务学习或双编码器架构将分布语义特征和句法结构的编码分离成异构的潜空间，整合基于图和序列模型，通过低秩算子将多个专门的潜在表示注入解码器的注意机制，结果显示所提出的端到端 VAE 架构可以得到更好的潜空间整理，减轻标准 VAE 架构中发生的信息丢失，从而改善语言建模和下游生成任务的性能。

    Nov, 2023

  • 通过句法角色实现句子表示中的无监督内容解缠

    本研究通过基于注意力的概率生成模型，建立了句子中不同句法角色的潜在变量之间的交互关系，并证明了在无监督情况下可以对句法角色进行拆分与控制，为无监督内容生成提供了一种有效的方法。

    Jun, 2022

  • 利用变压器量化变分自编码器改进离散潜空间中的语义控制

    通过使用 Vector Quantized Variational AutoEncoders (VQVAEs) 内的离散潜空间来提高 Transformer-based VAE 中的语义控制和生成性能，我们提出了一种新型模型 T5VQVAE，利用 VQVAEs 的可控性来引导 T5 中的自注意机制，从而更好地保留语义信息并取得优于现有 VAE 模型（包括 Optimus）的性能，在自动编码、文本转换和推理等不同任务中。此外，T5VQVAE 还表现出了改进的推理能力，为下游自然语言和符号推理任务提供了潜在的应用。

    Feb, 2024

  • 可传递信息理论及其在深度生成模型中的应用

    本文介绍了一种基于控制先验和层次结构的基于变分自编码器 (SemafoVAE) 来实现分离表示和生成高质量图像的方法。

    Mar, 2022

  • 学习自然语言定义的解耦表示

    使用可表征语法和语义规律的定义句类别训练变分自编码器，并在多个测试中展现其成功解耦表示效果，以及在定义建模中得到的改善。

    Sep, 2022

  • 极化 - VAE：基于相似度的离散化表现学习用于文本生成

    本文提出了 polarized-VAE 方法，它通过反映数据点之间在属性相似性方面的相似性度量，可以解开潜在空间中选定的属性的不可避免联系，相对于其他属性的联系降至最低，展现出更好的表现，并适用于其他属性分离任务。

    Apr, 2020

  • 层次化草图归纳用于释义生成

    本文提出了一种生成抄袭的生成模型，它通过条件语法草图鼓励语法多样性。在 HRQ-VAE 的基础上，我们提出了一种学习散列编码分解的方法，表示输入的精细到粗糙的信息。通过 HRQ-VAE，我们可以将输入句子的句法形式编码为通过层次结构的路径，以便更容易地在测试时预测语法素描。实验结果证明了 HRQ-VAE 可以学习输入空间的层次表征，并生成比以前系统更高质量的抄袭。

    Mar, 2022

  • 双语生成式 Transformer 用于语义句子嵌入

    本文提出了一种基于变分概率框架的深度潜变量模型，使用双语数据，利用拥有共性的语义信息与特性进行训练，使模型可以将并行语句进行源分离，得到隐含的语义向量，进而对单语数据进行预测。实验证明，该方法在无监督语义相似性评估方面的表现明显优于现有方法，并且还能在不适合使用简单词语重叠作为相似性指标的更难评估子集中发挥最大的作用。

    Nov, 2019