通过使用可微分的凸优化方法，Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品，并在图像重构和编码速度等方面取得了显著的改进。

Oct, 2023

本文研究了如何平衡效用、信息的有效性和复杂性，从而塑造新兴的通信，并将其与人类通信进行比较。我们使用 VQ-VIB 方法训练神经代理来压缩输入以获得离散信号，从而比以往的神经体系结构在其性能方面更具优越性，并发现惩罚交际复杂性可以维持高效用的同时维持类似人类的词汇量。此外，我们还发现，VQ-VIB 优于其他离散通信方法。

Jun, 2022

该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

May, 2018

本文提出两种神经模型，均使用向量量化技术将连续特征映射为有限的编码，旨在利用无标签数据学习将语音的音素内容与说话人特定细节分离的离散表述。在 Zero Speech 2020 挑战赛的英语和印度尼西亚语数据上，我们的两个模型都优于 2019 年和 2020 年挑战赛的所有提交，相对提高超过 30%。

May, 2020

本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

Nov, 2017

通过有限速率的深度学习通道状态信息反馈方法，本文提出了在大规模多输入多输出系统中，基于矢量量化变分自动编码器框架实现有限位表示的潜在矢量，同时利用形状增益的矢量量化减少计算复杂性。该方法通过适当的变换函数，将潜在矢量的幅度用非均匀标量码书量化，同时使用可训练的 Grassmann 码书量化潜在矢量的方向。同时，引入码字选取规则和损失函数设计，开发了一种多速率码书设计策略。仿真结果表明，所提出的方法在给定的反馈开销下，减少了与 VQ-VAE 相关的计算复杂性，同时改善了通道状态信息重建性能。

Mar, 2024

本文提出一种正则化的向量量化框架，通过两种正则化方法有效缓解确定性量化和随机量化所存在的问题，并设计出一种概率对比损失作为更进一步缓解扰动重构目标的标准度量，实验表明该框架在不同的生成模型中表现都比现有的向量量化方法更优。

Mar, 2023

基于变分贝叶斯框架，提出一种新颖的统一框架，即分层量化变分自动编码器（HQ-VAE），其以离散表示形式随机学习层次化的离散特征，并解决了分层 VQ-VAE 中的代码本 / 层级坍塌问题，从而提高重建性能。

Dec, 2023

参考文献通过在线聚类学习方法 Clustering VQ-VAE（CVQ-VAE）解决了向量量化（VQ）中的代码书坍塌问题，提高了在复杂的计算机视觉任务中学习更大的代码书的效果。

Jul, 2023

本文介绍了一种可学习的格矢量量化方法 (LL-VQ-VAE)，并证明其对于学习离散表示的有效性。与 VQ-VAE 相比，在相同的训练条件下，我们的方法在重建误差方面较低，训练时间更短，并且具有恒定的参数数量（等于嵌入维度 D），使其成为一种具有可伸缩性的方法。我们在 FFHQ-1024 数据集、FashionMNIST 和 Celeb-A 数据集上展示了这些结果。

Oct, 2023