提出使用变分自编码器和 Transformers 构建两种具有归纳偏置的模型,可将潜在表示中的信息分离成可理解的概念,其中 QKVAE 在转移实验中表现出竞争性能,并展示了明显的优化句法角色分离能力。
May, 2023
提出了一种半监督顺序变分自编码器 (SSVAE) 用于文本分类,在解码器中增加了标签信息,并使用一种新颖的优化方法减少了训练中的计算复杂性,实验结果表明该方法在 IMDB 数据集和 AG 新闻语料库上的分类精度显著提高,与之前的先进方法相当。
Mar, 2016
本文提出了一种基于变分自编码器和神经自回归模型的简单但原则性的方法来学习全局表示,该方法允许对全局潜在特征进行控制,通过设计相应的架构,可以迫使全局潜在特征丢弃 2D 图像纹理等无关信息,并且通过利用自回归模型作为潜在分布和解码分布,可以大大提高 VAE 的生成建模性能,实现了 MNIST、OMNIGLOT 和 Caltech-101 Silhouettes 密度估计任务的新的最先进结果。
Nov, 2016
论文提出通过 pooling 来增加编码器特征的差异性,以防止 Variational autoencoders 中 posterior collapse 现象的出现,从而在数据对数似然方面取得了显著提高。
Nov, 2019
本文介绍一种基于 RNN 和 VAE 的生成模型,该模型可以显式地模拟句子的整体特征,并通过分布式的潜在表示编码句子的风格、主题和高级语法特征。模型生成多样且完整的句子,能够插值生成连贯且新颖的句子,并用于填补缺失的词,同时探索了潜在句子空间的许多有趣属性。
Nov, 2015
本文提出了一种基于变分自编码器的模型,通过在模型的潜在空间中使用线性化树序列显式建模句法信息,从而生成来自分离的句法和语义子空间的句子,并能应用于无监督的释义生成和句法转换等任务,实验结果优于现有相关工作。
Jul, 2019
该论文提出了一种模型 —— 变分循环自编码器(VRAE),结合了 RNN 和 SGVB 的优点,可用于针对大规模时间序列数据进行高效的无监督学习,将时间序列数据映射为潜在向量表示。该模型具有生成性,因此可以从潜空间的样本生成数据。此外,该模型能够利用无标记数据,通过初始化权重和网络状态,促进 RNN 的监督训练。
Dec, 2014
本文研究了多层结构的变分自编码器模型,采用层级随机层和多层解码器结构生成更具信息的潜变量编码,同时生成中间的句子表示作为高层计划向量,实验结果表明多层结构能够生成更加连贯且不重复的长文本,并进一步缓解了后验坍缩问题。
Feb, 2019
本文提出一种将自回归语音合成模型 VoiceLoop 与变分自编码器 VAE 相结合的方法,通过在语音生成过程中显式建模全局特征,控制生成语音的表达方式从而提高语音合成的表现力。
Apr, 2018
本文介绍了一种新的变分自编码器模型 MusicVAE,利用层次化解码器结构用于序列数据建模,解决了长程序列结构状态建模的问题,并实现了更好的采样、插值和重构表现。
Mar, 2018