- QTIP: 用格点化和不相关处理的量子化
QTIP 使用三叶栅编码量化与硬件高效的 “比特移位” 三叶栅结构,实现了具有最先进的量化质量和推理速度的超高维度量化。
- LG-VQ:语言导向的代码本学习
本文提出了一种新颖的语言引导的码书学习框架 (LG-VQ),旨在学习与文本对齐的码书,以提高多模态下游任务的性能。实验结果表明,我们的方法在重构和各种多模态下游任务上取得了优越的性能。
- GPTVQ: LLM 量化的维度福祉
在这项研究中,我们展示了通过增加量化维度可以显著改善神经网络量化的大小和准确性之间的权衡。我们提出了 GPTVQ 方法,一种新的快速方法,用于对大型语言模型(LLMs)进行训练后的向量量化(VQ),并在多列的量化和未量化权重更新之间交错使用 - 通过含蓄的神经网络码本进行残差量化
QINCo 是一种神经网络 RQ 变体,它通过根据先前步骤的向量逼近条件化地预测每个向量的专门码书,实验证明 QINCo 在多个数据集和码字大小上显著优于现有方法。
- 音频至照片级虚拟人物:对话中的人物合成
我们提出了一个框架,用于生成根据对话动态姿势的真实感十足的全身虚拟人物。通过给定的语音音频,我们输出一个人的多个姿势动作可能性,包括面部、身体和手部动作。我们的方法的关键在于将向量量化的样本多样性与扩散所获得的高频细节相结合,以生成更动态、 - MOC-RVQ:多级码书辅助的数字生成语义通信
提出了一种多级生成语义通信系统,通过两阶段训练框架,第一阶段利用多头八元码书(MOC)训练高质量码书,压缩索引范围,并结合残差矢量量化(RVQ)机制实现多级通信;第二阶段引入基于 Swin Transformer 的噪声抑制块(NRB),结 - HQ-VAE:具有变分贝叶斯的分层离散表示学习
基于变分贝叶斯框架,提出一种新颖的统一框架,即分层量化变分自动编码器(HQ-VAE),其以离散表示形式随机学习层次化的离散特征,并解决了分层 VQ-VAE 中的代码本 / 层级坍塌问题,从而提高重建性能。
- LeanVec:通过使向量适应进行更快的搜索
LeanVec 是一个结合了线性降维和向量量化的框架,用于加速高维度向量的相似性搜索,并在维持准确度的同时提高性能。它提供了针对分布内和分布外查询的两个变体,能够产生与最新的深度学习替代方案相当的准确度,并在搜索吞吐量上提高了 3.7 倍, - SVQ: 稀疏向量量化用于时空预测
通过开发稀疏量化方法,我们的研究在多个领域中不断提升了基准模型的性能,实现了最先进的结果。
- 紧凑的三维高斯辐射场表示
通过学习性的掩码策略和向量量化,我们减少了高斯点的数量和占用的存储空间,实现了高性能、快速训练、紧凑且实时的渲染,提供了一个全面的三维场景表示框架。
- AAAIVQ-NeRF:向量量化增强隐式神经表征
通过向量量化等方法,本文提出了一种名为 VQ-NeRF 的管线,以提高隐式神经表示的效果和效率,并通过多尺度采样和语义损失函数等方法来增强网络保留场景的细节和几何特征。在多个数据集上的评估结果表明,该方法在图像渲染质量和效率之间达到了最佳平 - 多类别无监督异常检测的分层向量量化变压器
在多类别图像异常检测中,该研究提出了一种基于向量量化和原型导向的 Transformer 层次化模型,通过离散的、具有代表性的原型来恢复正常图像,并采用原型导向的最优传输方法进行异常评估,实现了优于现有模型的性能。
- 软凸量化:用凸优化重新审视向量量化
通过使用可微分的凸优化方法,Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品,并在图像重构和编码速度等方面取得了显著的改进。
- MEMORY-VQ:可操作的互联网规模内存的压缩
提出了 MEMORY-VQ 方法,通过使用向量量化变分自编码器 (VQ-VAE) 来压缩令牌表示,从而减少记忆增强模型的存储要求,应用于 LUMEN 模型中获得 LUMEN-VQ,一个具有相当性能的记忆模型,可在大型检索语料库中实现实用的检 - 核成长神经气生成的网络特征
该研究旨在开发核 GNG 算法,它是生长神经气体(GNG)算法的核化版本,并研究由核 GNG 生成的网络的特征。使用高斯、拉普拉斯、柯西、反多重二次和对数核五种核方法探究了核 GNG 的特性。
- 可增量计算的神经网络:动态输入的高效推理
深度学习和增量计算方法,采用向量量化处理输入数据,通过离散化中间值以便复用信息,应用于 Transformer 架构,实现了复杂度与输入变动比例成正比的高效增量推理算法,并通过实验证明在文档分类中达到了和传统方法几乎相等的准确性,但处理微小 - 利用微调后的 VQGAN 模型进行极端图像压缩
本文提出了一种基于向量量化 (VQ) 的生成模型的图像压缩编码框架,通过学习 VQGAN 模型的码本可实现在潜空间内对连续信息进行高效压缩,从而在极低比特率下实现优质的重构图像。
- 应用扩散模型的局部控制色彩调色板
我们在奇幻卡片艺术领域展示了两种新的编辑过程:调色板转换和区段控制。通过应用指定的参考调色板到特定卡片,调色板转换可以实现艺术样式的巨大变化。通过向量量化、匹配和向量解量化(使用扩散模型)的流水线,我们证明了成功的极端调色板转换。区段控制允 - 通过自监督学习实现基于可穿戴设备的人类活动识别离散表示学习
本文探讨了离散化方法在人类活动识别 (HAR) 领域的应用,作者采用了向量量化技术 (Vector Quantization,VQ),提出了一种从短时间的传感器数据到码本向量的映射方法,证明了离散化方法不但可用于活动分类,还可用于符号序列分 - CVPR非线性向量变换编码
本文研究了向量量化和标量量化在高清图像压缩方面的优劣,并提出了一种新的方案:通过非线性向量变换和多级量化战略解决了向量量化的复杂性问题,并采用基于熵的向量量化来确定量化边界,从而优化速度和性能。与现有的基于非线性变换编码的方法相比,该方法具