本文介绍了一种新型的量化方法,采用分层结构的编码本,将向量压缩到二进制码中,相比 Product Quantization 和 Additive Quantization 方法减少了运行时间,并在 SIFT、GIST 描述符和基于卷积神经网络的新特征数据集上验证了其有效性。
Nov, 2014
参考文献通过在线聚类学习方法 Clustering VQ-VAE(CVQ-VAE)解决了向量量化(VQ)中的代码书坍塌问题,提高了在复杂的计算机视觉任务中学习更大的代码书的效果。
Jul, 2023
本文提出了一种两阶段的框架,由残差量化 VAE(RQ-VAE)和 RQ-Transformer 组成,旨在有效地生成高分辨率图像,通过精确的逼近,我们可以将 256×256 像素的图像表示为 8×8 特征映射,并且 RQ-Transformer 可以在保证生成高品质图像的同时减少计算成本。
Mar, 2022
通过使用可微分的凸优化方法,Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品,并在图像重构和编码速度等方面取得了显著的改进。
Oct, 2023
本研究提出了一种基于 Hessian-weighted k-means clustering 和 ECSQ 的网络量化方案,以在达到压缩比约束的前提下最小化网络量化的性能损失,并进行了 LeNet,32 层 ResNet 和 AlexNet 的压缩实验。
Dec, 2016
该论文介绍了一种用于大规模图像检索的深度渐进量化模型,该模型学习逐步逼近视觉特征的量化码,并且可以同时训练不同码长的量化码,实现了优于现有技术的图像检索效果。
Jun, 2019
大型语言模型在许多任务中展现出有希望的性能,然而,高存储和计算成本成为部署大型语言模型的挑战。本文提出了一种新的称为基于低秩码簿的量化方法(LCQ)用于大型语言模型的权重量化,通过采用秩大于一的低秩码簿,LCQ 在基本不增加存储成本的情况下能够取得比现有方法更好的准确性。
May, 2024
提出了一种多级生成语义通信系统,通过两阶段训练框架,第一阶段利用多头八元码书(MOC)训练高质量码书,压缩索引范围,并结合残差矢量量化(RVQ)机制实现多级通信;第二阶段引入基于 Swin Transformer 的噪声抑制块(NRB),结合第一阶段的多级码书,作为高质量的语义知识库(SKB)用于生成特征恢复。实验结果表明,MOC-RVQ 在没有信道纠错编码的情况下,相比 BPG 或 JPEG 等方法具有更好的性能。
Jan, 2024
通过引入具有自适应内容嵌入的混合神经表示视频(HNeRV)和一个新颖组件 ——VQ-NeRV 块,我们提出了一个先进的 U 型架构,Vector Quantized-NeRV(VQ-NeRV),以在视频回归任务中提供卓越的重建质量、更好的比特率和改善的视频修复结果。
Mar, 2024
本文提出了一种新的多码本量化方法,将生成教师向量卡尺化成为一个编解码问题,实现了教师模型的向量压缩,以减少模型存储需求。在 LibriSpeech 数据集上,用该方法训练的学生模型能够获得与传统 KD 方法(l1, l2)相当的 ASR 性能,并在存储容量上实现了 256 倍的减少。
Oct, 2022