Oct, 2023

软凸量化：用凸优化重新审视向量量化

PDF
TL;DR通过使用可微分的凸优化方法，Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品，并在图像重构和编码速度等方面取得了显著的改进。
vector quantizationinformative discrete latent representationssoft convex quantizationdifferentiable convex optimizationscq autoencoder models
发现论文，激发创造
  • 具有动态向量量化的自适应离散通信瓶颈

    本研究提出了一种基于动态选择离散化紧密度的方法，通过调整 VQ 方法中的码本大小和离散码数来实现，以应对数据中的复杂性差异，这种方法可在视觉推理和强化学习任务中提高模型性能。

    Feb, 2022

  • 在线聚类码本

    参考文献通过在线聚类学习方法 Clustering VQ-VAE（CVQ-VAE）解决了向量量化（VQ）中的代码书坍塌问题，提高了在复杂的计算机视觉任务中学习更大的代码书的效果。

    Jul, 2023

  • VecQ: 基于向量化权重量化的 DNN 最小损失模型压缩

    本文提出了一种称为 Vector Loss 的新指标，提出了一种新的量化解决方案 VecQ，它可以保证直接量化损失最小和更好的模型精度。此外，为了加快模型训练期间的量化过程，本文还使用参数化概率估算方法和基于模板的导出计算对量化过程进行了加速。

    May, 2020

  • 最佳和近似最佳的自适应矢量量化

    量化是许多机器学习应用中的基础优化之一，该研究论文重新审视自适应矢量量化问题，并提出了改进的时间和空间复杂度的最优解算法，以及适用于大型输入的更快的近似最优算法。实验结果表明这些算法可能在各种机器学习应用中更广泛地应用于自适应矢量量化。

    Feb, 2024

  • 有限数量的标量量化：简化 VQ-VAE

    我们提出使用有限数量标量量化（FSQ）替代 VQ-VAEs 中的向量量化（VQ），通过将 VAE 表示投影到少量维度中，并将每个维度量化为固定值的小集合，从而实现离散表示。我们在图像生成中使用 MaskGIT，以及在深度估计、上色和全景分割中使用 UViM，尽管 FSQ 的设计简单，但在这些任务中获得竞争性表现。我们强调 FSQ 不会出现代码本崩溃问题，也不需要复杂的机制来学习表达丰富的离散表示。

    Sep, 2023

  • 图像搜索的深度球面量化

    本文提出了 Deep Spherical Quantization（DSQ）方法，通过多码本量化，使深度卷积神经网络生成监督和紧凑的二进制代码以实现高效图像搜索，并经过大量实验证明，DSQ 及其稀疏变体能以优于许多最先进的图像检索方法的形式生成语义可分的紧凑二进制代码。

    Jun, 2019

  • SVQ: 稀疏向量量化用于时空预测

    通过开发稀疏量化方法，我们的研究在多个领域中不断提升了基准模型的性能，实现了最先进的结果。

    Dec, 2023

  • 零语音 2020 挑战中基于向量量化的神经网络用于语音单元发现

    本文提出两种神经模型，均使用向量量化技术将连续特征映射为有限的编码，旨在利用无标签数据学习将语音的音素内容与说话人特定细节分离的离散表述。在 Zero Speech 2020 挑战赛的英语和印度尼西亚语数据上，我们的两个模型都优于 2019 年和 2020 年挑战赛的所有提交，相对提高超过 30%。

    May, 2020

  • 非线性向量变换编码

    本文研究了向量量化和标量量化在高清图像压缩方面的优劣，并提出了一种新的方案：通过非线性向量变换和多级量化战略解决了向量量化的复杂性问题，并采用基于熵的向量量化来确定量化边界，从而优化速度和性能。与现有的基于非线性变换编码的方法相比，该方法具有更好的速度和模型尺寸，研究结果表明该方法性能更佳。

    May, 2023

  • 软到硬向量量化用于端到端学习可压缩表示

    本篇论文提出了一种基于端到端训练策略的学习深层结构中可压缩表示的新方法，此方法基于分段连续函数，将分段函数在训练过程中逐渐退化为其离散化函数。并且作者将该方法应用于图片压缩和神经网络压缩两个具有挑战性的领域，取得了与基于不同方法的最先进技术相当的成果。

    Apr, 2017