SVQ: 稀疏向量量化用于时空预测
稀疏量化后的无前馈层变压器（Sparse-VQ）用于时间序列分析与预测，成功地减少了噪声的影响并提高了计算效率，通过与现有的变压器模型进行集成，进一步提升了性能。
Feb, 2024
使用离散状态空间隐马尔可夫模型、最新的神经网络架构和受向量量化变分自动编码器启发的训练过程，结合大数据集中成千上万个异构时间序列的预测任务是众多领域的一个关键统计问题。我们提出了一种新的预测模型，引入了离散后验分布和两阶段训练过程，从而提供了对潜在状态和发射分布参数的交替训练。通过学习多个发射规律和根据隐藏过程动力学临时激活它们，所提出的方法能够探索大数据集和利用可用的外部信号。我们使用多个数据集评估了该方法的性能，并展示它优于其他最先进的解决方案。
Apr, 2024
通过使用可微分的凸优化方法，Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品，并在图像重构和编码速度等方面取得了显著的改进。
Oct, 2023
我们提出使用有限数量标量量化（FSQ）替代 VQ-VAEs 中的向量量化（VQ），通过将 VAE 表示投影到少量维度中，并将每个维度量化为固定值的小集合，从而实现离散表示。我们在图像生成中使用 MaskGIT，以及在深度估计、上色和全景分割中使用 UViM，尽管 FSQ 的设计简单，但在这些任务中获得竞争性表现。我们强调 FSQ 不会出现代码本崩溃问题，也不需要复杂的机制来学习表达丰富的离散表示。
Sep, 2023
提出了一种名为 TimeVQVAE 的新模型，它使用矢量量化技术解决时间序列生成（TSG）问题，通过在时频域中分离出低频和高频来保留时间序列的重要特征，并使用双向转换模型学习离散潜在空间的先验知识，使其具有更好的全局时间一致性和更好的质量。
Mar, 2023
运用矢量量化变分自编码器（VQ-VAEs）和基于扩散的预测模型，通过离散潜在空间和实例级编码矢量的动态调整，实现轨迹预测的准确性和多样性，达到了三个标准基准测试的最新性能水平。
May, 2024
本文提出一种正则化的向量量化框架，通过两种正则化方法有效缓解确定性量化和随机量化所存在的问题，并设计出一种概率对比损失作为更进一步缓解扰动重构目标的标准度量，实验表明该框架在不同的生成模型中表现都比现有的向量量化方法更优。
Mar, 2023
我们提出了一种语义神经离散表示学习的新方法，称为 Semantic Vector-Quantized Variational Autoencoder (SVQ)，通过从底层离散概念模式到对象表示的层次化构建场景表示，并通过训练这些表示上的先验模型来生成图像，并且我们的模型在生成性能和场景理解任务方面表现优于其他非语义向量量化方法。
Feb, 2024
基于自动生成的样本和物理感知指标，我们提出了一种被称为矢量量化束搜索（BeamVQ）的方法，以增强数据驱动时空预测模型的物理对齐性。经过综合实验，BeamVQ 不仅为十个骨干网络在五个数据集上提供了平均统计技能评分超过 32% 的提升，还显著增强了物理感知指标。
May, 2024