基于变分贝叶斯框架,提出一种新颖的统一框架,即分层量化变分自动编码器(HQ-VAE),其以离散表示形式随机学习层次化的离散特征,并解决了分层 VQ-VAE 中的代码本 / 层级坍塌问题,从而提高重建性能。
Dec, 2023
该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果,并通过知识蒸馏技术,开发出一种非自回归机器翻译模型,其准确性几乎与强贪婪自回归基线变压器相当,但在推理速度上快 3.3 倍。
May, 2018
本文探讨矢量量化变分自编码器模型 (VQ-VAE) 进行大规模图像生成的应用,采用自回归先验信息,结合简单前馈编码器和解码器网络,以压缩的潜变量空间进行自动回归模型采样,同时使用多尺度层级 VQ-VAE 进行生成,取得比 Generative Adversarial Networks 更加优秀的样本生成品质。
Jun, 2019
我们提出了一种新颖的算法来量化训练模型中的连续潜在表达式,该算法适用于深度概率模型,可以实现数据和模型压缩,并且可以基于后验不确定性使用自适应量化精度来实现可变的码率失真折衷,实验证明了所提出的算法的有效性。
Feb, 2020
本文提出了一种简单而强大的生成模型,学习离散表示,可以生成高质量的图像、视频和语音,同时进行说话人转换和音素无监督学习。
Nov, 2017
本文提出了一种层次非参数变分自编码器模型,以结合树状结构的贝叶斯非参数先验和变分自编码器来实现无限灵活性的潜在表征空间,进而在视频表征学习上取得更好的效果。
Mar, 2017
本文提出了一种生成抄袭的生成模型,它通过条件语法草图鼓励语法多样性。在 HRQ-VAE 的基础上,我们提出了一种学习散列编码分解的方法,表示输入的精细到粗糙的信息。通过 HRQ-VAE,我们可以将输入句子的句法形式编码为通过层次结构的路径,以便更容易地在测试时预测语法素描。实验结果证明了 HRQ-VAE 可以学习输入空间的层次表征,并生成比以前系统更高质量的抄袭。
Mar, 2022
本文研究了利用深度潜变量模型进行有损图像压缩的问题,并提出了迭代推理、离散优化的随机退火以及 bits-back 编码等方法,取得了新的最优表现。
Jun, 2020
提出了一种名为 S-HR-VQVAE 的新模型,将层次化残差量化变分自编码器(HR-VQVAE)与新型时空 PixelCNN(ST-PixelCNN)相结合,具有更好处理视频预测任务的能力,并通过提出先进的训练方法,平衡整个模型参数的学习。
Jul, 2023
本文提出了一种基于 VQ-VAE 的视频预测方法,将高分辨率视频压缩为一组分层多尺度离散潜在变量,然后应用可扩展自回归生成模型,相对于先前的工作,更关注大规模多样化的数据集,并使用人工评估验证了其效果。
Mar, 2021