变分贝叶斯量化

ICMLFeb, 2020

Variational Bayesian Quantization

Yibo Yang, Robert Bamler, Stephan Mandt

TL;DR我们提出了一种新颖的算法来量化训练模型中的连续潜在表达式，该算法适用于深度概率模型，可以实现数据和模型压缩，并且可以基于后验不确定性使用自适应量化精度来实现可变的码率失真折衷，实验证明了所提出的算法的有效性。

Abstract

We propose a novel algorithm for quantizing continuous latent representations in trained models. Our approach applies to deep probabilistic models, such as variational autoencoders (VAEs), and enables both data and model →

quantization deep probabilistic models compression adaptive quantization accuracy posterior uncertainty

发现论文，激发创造

分层量化自编码器

该研究使用层次 VQ-VAE 近似压缩图像，同时保持感知质量和抽象特征。在 CelebA 和 MNIST 数据集上进行了定性和定量评估。

Feb, 2020

改进神经图像压缩推理

本文研究了利用深度潜变量模型进行有损图像压缩的问题，并提出了迭代推理、离散优化的随机退火以及 bits-back 编码等方法，取得了新的最优表现。

Jun, 2020

神经离散表征学习

本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

Nov, 2017

向量量化自编码器的理论与实验

该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

May, 2018

基于贝叶斯隐式神经表达的压缩

本文提出了一种基于变分贝叶斯神经网络的数据压缩方法，并使用相对熵编码代替量化和熵编码以优化 $eta$-ELBO 的速率失真性能，同时通过迭代算法学习先验权重分布并采用渐进式细化过程来有效提高压缩性能。实验证明，该方法在图像和音频压缩方面具有强大的性能，同时仍保持简洁。

May, 2023

HQ-VAE：具有变分贝叶斯的分层离散表示学习

基于变分贝叶斯框架，提出一种新颖的统一框架，即分层量化变分自动编码器（HQ-VAE），其以离散表示形式随机学习层次化的离散特征，并解决了分层 VQ-VAE 中的代码本 / 层级坍塌问题，从而提高重建性能。

Dec, 2023

利用微调后的 VQGAN 模型进行极端图像压缩

本文提出了一种基于向量量化 (VQ) 的生成模型的图像压缩编码框架，通过学习 VQGAN 模型的码本可实现在潜空间内对连续信息进行高效压缩，从而在极低比特率下实现优质的重构图像。

Jul, 2023

基于量化的自编码器正则化

本文提出了一种基于量化的正则化器来防止过拟合和后验坍缩现象，通过在 Autoencoder 的瓶颈阶段使用噪声和贝叶斯估计器优化 quantizer-based 表示结果，结果表明相对于使用其他瓶颈结构的 Autoencoder，在监督学习和聚类下游任务中，提出的正则化方法可以得到更好的潜在表示。

May, 2019

基于变分贝叶斯和压缩自编码器的图像恢复

使用压缩自编码器进行潜在变量估计，在变分推断框架内实现此估计，并能快速、简便（近似地）进行后验采样，证明该方法能够与最先进的即插即用方法达到类似的性能，并且能够比其他现有的后验采样技术更快地量化不确定性。

Nov, 2023

SQ-VAE：自退火随机量化的离散表征变分贝叶斯

本文提出了一种名为 SQ-VAE 的新型训练方法，通过引入一种名为自退火的随机量化方法，扩展标准变分自编码器来提高编码本的利用率，并在视觉和语音任务中优于 VAE 和 VQ-VAE

May, 2022