May, 2022

AdaVAE: 在变分自编码器中探索自适应 GPT-2 用于语言建模

PDF
TL;DR本研究提出了第一个使用自适应 GPT-2 模型增强的 VAE 框架，它不仅能够进行代表学习和文本生成，还能够在多个相关任务中有效组织语言。
variational auto-encodervaegpt-2srepresentation learningguided text generation
发现论文，激发创造
  • 可解释的句子表示：变分自编码器和注意力机制

    提出使用变分自编码器和 Transformers 构建两种具有归纳偏置的模型，可将潜在表示中的信息分离成可理解的概念，其中 QKVAE 在转移实验中表现出竞争性能，并展示了明显的优化句法角色分离能力。

    May, 2023

  • 面向文本生成的主题引导变分自编码器

    该研究提出了一种基于主题引导的变分自编码器（TGVAE）模型，该模型使用高斯混合模型作为先验，建立了神经主题模块对语料中的主题进行指导性生成。实验结果表明，该模型在无条件和有条件文本生成方面优于传统的变分自编码器方法。

    Mar, 2019

  • 基于 Transformer 的条件变分自编码器用于可控的故事生成

    本文提出了一种基于转换器和变分自动编码器（VAE）的条件变分自动编码器（CVAE）方法，在保持卓越的生成效果的同时增强了可控性和表征学习能力，实现了对长文本的神经故事生成。

    Jan, 2021

  • 控制性文本生成的变分自编码器综述

    介绍了神经网络生成模型、自然语言处理、VAE、可控制生成、深度神经网络等相关概念和应用。

    Nov, 2022

  • LlaMaVAE: 通过连续的潜在句子空间指导大型语言模型生成

    深度生成神经网络（如变分自动编码器）与大型语言模型相结合，得到了更好的文本生成控制，并在各种任务中表现出了优于现有模型的性能。

    Dec, 2023

  • 用狄利克雷变分自编码器进行文本建模

    介绍了一种更优秀的文本建模方法：将主题信息作为狄利克雷潜变量明确建模在变分自动编码机（VAE）中。提出的模型更适合重建输入文本，且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动，使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限，并在四个不同数据集上进行实验，结果表明，该模型在潜在空间的文本重建上更加优秀，并且所学特征的分类具有更高的测试准确性。

    Oct, 2018

  • 文本生成的隐式深度潜变量模型

    本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。

    Aug, 2019

  • 基于语言模型的配对变分自编码器用于机器人语言学习

    研究了通过预训练语言模型进行机器人的语言描述，在简单的物体操作场景下，实现了机器人行为和语言描述的双向绑定，并提出使用所提供的 PVAE-BERT 模型可以在真实场景中用于实现人机交互的指令。

    Jan, 2022

  • Optimus: 通过预训练的潜在空间建模来组织句子

    本研究提出 Optimus 模型，通过大规模预训练和微调，实现了面向各种自然语言生成和理解任务的通用潜在嵌入空间。与 GPT-2 相比，Optimus 可使用潜在向量在抽象层次上进行引导语言生成。与 BERT 相比，由于平滑的潜在空间结构，Optimus 在低资源语言理解任务上具有更好的泛化能力。实验结果表明 Optimus 的有效性，并在 VAE 语言建模基准上实现了新的最佳性能。

    Apr, 2020

  • 高斯过程先验变分自编码器

    本文研究了一种新的模型 Gaussian Process Prior Variational Autoencoder (GPPVAE)，结合了 VAEs 和具有 GP priors 关联特性的能力，解决了 VAEs 假设的潜在样本表示是独立并且同分布的假设不够强的问题，并利用协方差矩阵中的结构，介绍了一种新的随机反向传播策略，达到了分布式和低内存计算随机梯度的目的，实验证明该方法可以在两个图像数据应用程序中优于 conditional VAEs (CVAEs) 和标准 VAEs。

    Oct, 2018