May, 2008

向量量化的随机投影树

PDF
TL;DR提出了一种简单且计算效率高的树形结构向量量化方案，与以往方法不同的是，其量化误差仅取决于数据分布的内在维度，而不是数据所处空间的表观维度。
发现论文，激发创造
  • 随机投影的编码

    本文研究了随机投影方法下的编码策略对算法表现的影响，发现在相似性度量和线性分类器训练任务中，均匀量化编码比现有方法更优，而在实际应用中，非均匀 2 位编码也表现较好。

    Aug, 2013

  • Bolt：快速向量压缩加速数据挖掘

    我们提出了一种能够以比现有技术快 12 倍以上的速度压缩矢量并加速近似向量操作的矢量量化算法，用于计算近似点积等操作的速度可提高 10 倍以上，可以加速最近邻搜索和最大内积搜索 100 倍以上，并且与现有的矢量量化算法相比误差竞争力强。

    Jun, 2017

  • 哪些空间分区树对于固有维度具有适应性？

    本研究通过理论与实验结合的方法，探讨了更广泛的树类组合，以了解空间划分可以利用数据的内在低维结构的程度，对于回归、向量量化和最近邻搜索等标准统计任务的影响，并证实了随机投影树是适应数据固有维数的。

    May, 2012

  • SVQ: 稀疏向量量化用于时空预测

    通过开发稀疏量化方法，我们的研究在多个领域中不断提升了基准模型的性能，实现了最先进的结果。

    Dec, 2023

  • 基于正则化向量量化的分词图像合成

    本文提出一种正则化的向量量化框架，通过两种正则化方法有效缓解确定性量化和随机量化所存在的问题，并设计出一种概率对比损失作为更进一步缓解扰动重构目标的标准度量，实验表明该框架在不同的生成模型中表现都比现有的向量量化方法更优。

    Mar, 2023

  • 最佳和近似最佳的自适应矢量量化

    量化是许多机器学习应用中的基础优化之一，该研究论文重新审视自适应矢量量化问题，并提出了改进的时间和空间复杂度的最优解算法，以及适用于大型输入的更快的近似最优算法。实验结果表明这些算法可能在各种机器学习应用中更广泛地应用于自适应矢量量化。

    Feb, 2024

  • 不定性原理与向量量化

    根据不确定性原理，将框架表示转换为更强韧的 Kashin 表示法，其系数具有最小可能的动态范围，并且具有减少其系数误差的能力。

    Nov, 2006

  • 有限数量的标量量化：简化 VQ-VAE

    我们提出使用有限数量标量量化（FSQ）替代 VQ-VAEs 中的向量量化（VQ），通过将 VAE 表示投影到少量维度中，并将每个维度量化为固定值的小集合，从而实现离散表示。我们在图像生成中使用 MaskGIT，以及在深度估计、上色和全景分割中使用 UViM，尽管 FSQ 的设计简单，但在这些任务中获得竞争性表现。我们强调 FSQ 不会出现代码本崩溃问题，也不需要复杂的机制来学习表达丰富的离散表示。

    Sep, 2023

  • 重新发现使用哈希随机投影以高效量化上下文化句子嵌入

    本研究提出了一种利用随机超平面投影和量化技术，减小预处理数据的存储和带宽需求，从而使得边缘设备可以高效地进行推理和训练，并且在多语言句子分类任务中保持了良好的性能。

    Mar, 2023

  • 稀疏量化表示的近似搜索

    本文提出了利用约束稀疏编码来近似存储大规模向量数据库，并实现高效检索的方法，可以在保证码本量的情况下，索引如 BIGANN 等大规模数据集，实现了学习 / 编码时间、索引大小、搜索质量等多种因素的平衡。

    Aug, 2016