Feb, 2024

最佳和近似最佳的自适应矢量量化

PDF
TL;DR量化是许多机器学习应用中的基础优化之一，该研究论文重新审视自适应矢量量化问题，并提出了改进的时间和空间复杂度的最优解算法，以及适用于大型输入的更快的近似最优算法。实验结果表明这些算法可能在各种机器学习应用中更广泛地应用于自适应矢量量化。
发现论文，激发创造
  • 数据并行 SGD 的自适应梯度量化

    通过研究发现深度模型的梯度统计在训练过程中发生变化，于是引入两种自适应量化方案 ALQ 和 AMQ，显著改善了 CIFAR-10 和 ImageNet 的验证准确率，且更具鲁棒性。

    Oct, 2020

  • 软凸量化：用凸优化重新审视向量量化

    通过使用可微分的凸优化方法，Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品，并在图像重构和编码速度等方面取得了显著的改进。

    Oct, 2023

  • 具有动态向量量化的自适应离散通信瓶颈

    本研究提出了一种基于动态选择离散化紧密度的方法，通过调整 VQ 方法中的码本大小和离散码数来实现，以应对数据中的复杂性差异，这种方法可在视觉推理和强化学习任务中提高模型性能。

    Feb, 2022

  • VecQ: 基于向量化权重量化的 DNN 最小损失模型压缩

    本文提出了一种称为 Vector Loss 的新指标，提出了一种新的量化解决方案 VecQ，它可以保证直接量化损失最小和更好的模型精度。此外，为了加快模型训练期间的量化过程，本文还使用参数化概率估算方法和基于模板的导出计算对量化过程进行了加速。

    May, 2020

  • 流式向量搜索的本地自适应量化

    研究了向量嵌入、检索增强生成、流式相似性搜索、局部自适应向量量化和 Turbo LVQ，提出了两种改进的 LVQ 方法，通过高效地搜索性能提高了搜索效果，并通过 Scalable Vector Search 引入开源库提供工具。

    Feb, 2024

  • 使用 Quick ADC 加速最近邻搜索

    本文提出了一种名为 Quick ADC 的新技术，通过利用当前 CPU 中可用的单指令多数据 (SIMD) 单元，实现了对 ADC 的 3-6 倍加速，并提出了两个关键算法修改，将 8 位子量化器替换为 4 位子量化器和定量化浮点距离。

    Apr, 2017

  • SVQ: 稀疏向量量化用于时空预测

    通过开发稀疏量化方法，我们的研究在多个领域中不断提升了基准模型的性能，实现了最先进的结果。

    Dec, 2023

  • Bolt：快速向量压缩加速数据挖掘

    我们提出了一种能够以比现有技术快 12 倍以上的速度压缩矢量并加速近似向量操作的矢量量化算法，用于计算近似点积等操作的速度可提高 10 倍以上，可以加速最近邻搜索和最大内积搜索 100 倍以上，并且与现有的矢量量化算法相比误差竞争力强。

    Jun, 2017

  • 面向通信效率的联邦学习中模型更新的自适应量化

    本文研究提出了 AdaQuant FL，一种自适应量化策略，旨在通过在训练过程中改变量化级别的数量来实现通信效率以及低误差率。 实验表明，与固定量化级别设置相比，该方法可以在更少的通信比特数中收敛，几乎不会对训练和测试的准确性产生影响。

    Feb, 2021

  • RAQ-VAE：自适应速率矢量量化变分自编码器

    Rate-Adaptive VQ-VAE improves the adaptability and performance of Vector Quantized Variational AutoEncoders with novel codebook representation methods, achieving effective reconstruction performance across multiple rates.

    May, 2024