在线聚类码本
基于变分贝叶斯框架,提出一种新颖的统一框架,即分层量化变分自动编码器(HQ-VAE),其以离散表示形式随机学习层次化的离散特征,并解决了分层 VQ-VAE 中的代码本 / 层级坍塌问题,从而提高重建性能。
Dec, 2023
本文提出了一种基于 VQ-VAE 的鲁棒生成模型(RVQ-VAE),使用两个分离的码本进行训练以处理数据集中可能的异常值,并采用加权欧几里得距离来量化数据点以确保正确的匹配,实验证明此模型能够在大量数据点受到污染时从内固定集合中生成例子。
Feb, 2022
本文提出了一种新颖的语言引导的码书学习框架 (LG-VQ),旨在学习与文本对齐的码书,以提高多模态下游任务的性能。实验结果表明,我们的方法在重构和各种多模态下游任务上取得了优越的性能。
May, 2024
本文提出了一种名为 SQ-VAE 的新型训练方法,通过引入一种名为自退火的随机量化方法,扩展标准变分自编码器来提高编码本的利用率,并在视觉和语音任务中优于 VAE 和 VQ-VAE
May, 2022
Rate-Adaptive VQ-VAE improves the adaptability and performance of Vector Quantized Variational AutoEncoders with novel codebook representation methods, achieving effective reconstruction performance across multiple rates.
May, 2024
通过使用可微分的凸优化方法,Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品,并在图像重构和编码速度等方面取得了显著的改进。
Oct, 2023
本文介绍了一种可学习的格矢量量化方法 (LL-VQ-VAE),并证明其对于学习离散表示的有效性。与 VQ-VAE 相比,在相同的训练条件下,我们的方法在重建误差方面较低,训练时间更短,并且具有恒定的参数数量(等于嵌入维度 D),使其成为一种具有可伸缩性的方法。我们在 FFHQ-1024 数据集、FashionMNIST 和 Celeb-A 数据集上展示了这些结果。
Oct, 2023
本文提出了一种基于向量量化 (VQ) 的生成模型的图像压缩编码框架,通过学习 VQGAN 模型的码本可实现在潜空间内对连续信息进行高效压缩,从而在极低比特率下实现优质的重构图像。
Jul, 2023
该论文介绍了一种利用隐变量量化自动编码器 (VQ-VAE) 从语言预训练模型中离散地提取丰富信息的新颖主题建模方法,并提出了一种新的生成主题模型 Topic-VQ-VAE (TVQ-VAE),可以逆向生成与相应隐变量量化编码书相关的原始文档。实验证明,TVQ-VAE 可以有效地捕捉主题上下文,揭示数据集的潜在结构,并支持灵活的文档生成形式。
Dec, 2023
提出了一种名为 EdVAE 的模型,通过使用证据深度学习(EDL)来解决 dVAE 的代码书坍塌问题,同时提高重建性能和代码书使用率。
Oct, 2023