APo-VAE:超几何空间中的文本生成
本文利用 Poincaré 球模型的超几何结构作为潜变量空间,研究了 VAE 在这个空间的运用,该方法在嵌套数据结构下表现出色,并展现了超几何结构对于 VAE 的优越性。
Jan, 2019
本文提出了一种基于变分自编码器的模型,通过在模型的潜在空间中使用线性化树序列显式建模句法信息,从而生成来自分离的句法和语义子空间的句子,并能应用于无监督的释义生成和句法转换等任务,实验结果优于现有相关工作。
Jul, 2019
通过使用高斯流形变分自编码器 (GM-VAE) 来提高图像数据集的密度估计和基于模型的强化学习下的环境建模。GM-VAE 在估计密度任务上优于其他变量的双曲线和欧几里得 VAEs,并在基于模型的强化学习中展现出竞争性的性能。
Sep, 2022
这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法,通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小,并将该方法与传统的超参数网格搜索进行比较,结果表明其速度显著更快,且在四个图像数据集上实现了最佳的维度。此外,还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当,因此可能作为一种便利的替代方法。
Dec, 2023
本文提出一种混合曲率变分自编码器,可以在常数曲率的黎曼流形上训练,其中每个组件的曲率可以是固定或可学习的,将欧几里得变分自编码器推广到曲线潜空间,并在组件的曲率接近 0 时恢复欧几里得空间。
Nov, 2019
深度生成神经网络(如变分自动编码器)与大型语言模型相结合,得到了更好的文本生成控制,并在各种任务中表现出了优于现有模型的性能。
Dec, 2023
提出了一种变分空间转换自编码器(VTAE),通过在 Riemann 流形上最小化测地线来改善表征学习,并提高计算机视觉任务的预测准确性和适用性,包括图像插值和重构。
Apr, 2023
通过多任务学习或双编码器架构将分布语义特征和句法结构的编码分离成异构的潜空间,整合基于图和序列模型,通过低秩算子将多个专门的潜在表示注入解码器的注意机制,结果显示所提出的端到端 VAE 架构可以得到更好的潜空间整理,减轻标准 VAE 架构中发生的信息丢失,从而改善语言建模和下游生成任务的性能。
Nov, 2023
介绍了一种更优秀的文本建模方法:将主题信息作为狄利克雷潜变量明确建模在变分自动编码机(VAE)中。提出的模型更适合重建输入文本,且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动,使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限,并在四个不同数据集上进行实验,结果表明,该模型在潜在空间的文本重建上更加优秀,并且所学特征的分类具有更高的测试准确性。
Oct, 2018
该论文介绍了 GLSR-VAE,一种 Geodesic Latent Space Regularization 方法,该方法可以在生成数据时对数据进行微调,并演示了在一个单声部音乐生成任务中生成音乐变化的有效性。
Jul, 2017