本文提出了一种名为 SQ-VAE 的新型训练方法，通过引入一种名为自退火的随机量化方法，扩展标准变分自编码器来提高编码本的利用率，并在视觉和语音任务中优于 VAE 和 VQ-VAE

May, 2022

参考文献通过在线聚类学习方法 Clustering VQ-VAE（CVQ-VAE）解决了向量量化（VQ）中的代码书坍塌问题，提高了在复杂的计算机视觉任务中学习更大的代码书的效果。

Jul, 2023

本文提出了一种基于 VQ-VAE 的鲁棒生成模型（RVQ-VAE），使用两个分离的码本进行训练以处理数据集中可能的异常值，并采用加权欧几里得距离来量化数据点以确保正确的匹配，实验证明此模型能够在大量数据点受到污染时从内固定集合中生成例子。

Feb, 2022

该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

May, 2018

基于变分贝叶斯框架，提出一种新颖的统一框架，即分层量化变分自动编码器（HQ-VAE），其以离散表示形式随机学习层次化的离散特征，并解决了分层 VQ-VAE 中的代码本 / 层级坍塌问题，从而提高重建性能。

Dec, 2023

Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

Apr, 2020

该论文介绍了一种利用隐变量量化自动编码器 (VQ-VAE) 从语言预训练模型中离散地提取丰富信息的新颖主题建模方法，并提出了一种新的生成主题模型 Topic-VQ-VAE (TVQ-VAE)，可以逆向生成与相应隐变量量化编码书相关的原始文档。实验证明，TVQ-VAE 可以有效地捕捉主题上下文，揭示数据集的潜在结构，并支持灵活的文档生成形式。

Dec, 2023

该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法，通过动态生成和更新不确定性权衡学习，解决了现有方法中面临的问题，包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明，与竞争方法相比，eVAE 在文本生成、图像生成质量等方面均有显著改善。

Jan, 2023

研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

Sep, 2019

本研究分析了 Variational Autoencoders 的近似误差，探讨了该误差的多种可能性并找到了其一致子集。重要的是，此子集无法通过考虑更深的编码器 / 解码器网络进行扩大，也无法降低相应误差。

Feb, 2021