参考文献通过在线聚类学习方法 Clustering VQ-VAE（CVQ-VAE）解决了向量量化（VQ）中的代码书坍塌问题，提高了在复杂的计算机视觉任务中学习更大的代码书的效果。

Jul, 2023

通过预训练语言模型中的先前训练的编码簿以及词性知识作为先验，构建一个视觉相关的编码簿，通过新的编码簿传递网络来实现鲁棒的 VQIM 编码簿学习，实验证明我们的 VQCT 方法在四个数据集上取得了优于现有最先进方法的性能。

Mar, 2024

该论文介绍了一种利用隐变量量化自动编码器 (VQ-VAE) 从语言预训练模型中离散地提取丰富信息的新颖主题建模方法，并提出了一种新的生成主题模型 Topic-VQ-VAE (TVQ-VAE)，可以逆向生成与相应隐变量量化编码书相关的原始文档。实验证明，TVQ-VAE 可以有效地捕捉主题上下文，揭示数据集的潜在结构，并支持灵活的文档生成形式。

Dec, 2023

提出了一种多级生成语义通信系统，通过两阶段训练框架，第一阶段利用多头八元码书（MOC）训练高质量码书，压缩索引范围，并结合残差矢量量化（RVQ）机制实现多级通信；第二阶段引入基于 Swin Transformer 的噪声抑制块（NRB），结合第一阶段的多级码书，作为高质量的语义知识库（SKB）用于生成特征恢复。实验结果表明，MOC-RVQ 在没有信道纠错编码的情况下，相比 BPG 或 JPEG 等方法具有更好的性能。

Jan, 2024

通过引入 Language-Quantized AutoEncoder (LQAE) 这一基于无监督方法的模型，利用预训练语言模型（如 BERT，RoBERTa）来解决大型语言模型缺乏图像感知的问题，并有效地将图像和文本信息进行对齐，通过 LQAE 学习将图像编码为一系列文本符号，使 LQAE 能够将不对齐的图像用于多模态任务，以及使用 BERT 文本特征对图像进行线性分类。

Feb, 2023

本文提出了一种基于向量量化 (VQ) 的生成模型的图像压缩编码框架，通过学习 VQGAN 模型的码本可实现在潜空间内对连续信息进行高效压缩，从而在极低比特率下实现优质的重构图像。

Jul, 2023

通过与向量量化模型预训练的条件式合成潜空间，联合学习条件潜空间和图像潜空间，进一步提高自回归模型的建模能力，并在多个图像数据集上验证其能有效改进语义图像合成性能。

Sep, 2022

本文提出了一种新的多码本量化方法，将生成教师向量卡尺化成为一个编解码问题，实现了教师模型的向量压缩，以减少模型存储需求。在 LibriSpeech 数据集上，用该方法训练的学生模型能够获得与传统 KD 方法（l1, l2）相当的 ASR 性能，并在存储容量上实现了 256 倍的减少。

Oct, 2022

基于变分贝叶斯框架，提出一种新颖的统一框架，即分层量化变分自动编码器（HQ-VAE），其以离散表示形式随机学习层次化的离散特征，并解决了分层 VQ-VAE 中的代码本 / 层级坍塌问题，从而提高重建性能。

Dec, 2023

本文提出了一种基于 VQ-VAE 的鲁棒生成模型（RVQ-VAE），使用两个分离的码本进行训练以处理数据集中可能的异常值，并采用加权欧几里得距离来量化数据点以确保正确的匹配，实验证明此模型能够在大量数据点受到污染时从内固定集合中生成例子。

Feb, 2022