Oct, 2022

知识蒸馏的多码本向量量化索引预测

PDF
TL;DR本文提出了一种新的多码本量化方法，将生成教师向量卡尺化成为一个编解码问题，实现了教师模型的向量压缩，以减少模型存储需求。在 LibriSpeech 数据集上，用该方法训练的学生模型能够获得与传统 KD 方法（l1, l2）相当的 ASR 性能，并在存储容量上实现了 256 倍的减少。
knowledge distillationmulti-codebook vector quantizationspeech recognitionteacher modelstudent model
发现论文，激发创造
  • Distill-VQ：通过密集嵌入提取知识进行检索导向量化

    该论文提出了一种基于知识蒸馏框架的 Distill-VQ 算法，通过将密集的嵌入作为 “教师” 来预测查询与样本文档的相关性，并将 VQ 模块作为 “学生” 学习以复现预测的相关性，得出的检索结果可以完全保留密集嵌入的检索结果，从而使未标记的数据可以给出丰富的训练信号，无需标记数据的高质量向量量化，该算法在实践中具有很强的适用性。

    Apr, 2022

  • 在线聚类码本

    参考文献通过在线聚类学习方法 Clustering VQ-VAE（CVQ-VAE）解决了向量量化（VQ）中的代码书坍塌问题，提高了在复杂的计算机视觉任务中学习更大的代码书的效果。

    Jul, 2023

  • LG-VQ：语言导向的代码本学习

    本文提出了一种新颖的语言引导的码书学习框架 (LG-VQ)，旨在学习与文本对齐的码书，以提高多模态下游任务的性能。实验结果表明，我们的方法在重构和各种多模态下游任务上取得了优越的性能。

    May, 2024

  • QKD：量化知识蒸馏

    本文提出了一种量化感知知识蒸馏的方法，并通过三个阶段的教学来协调量化和 KD，从而在 ImageNet 和 CIFAR-10 / 100 数据集上提高了模型的性能。

    Nov, 2019

  • 利用词性的码书迁移在矢量量化图像建模中的应用

    通过预训练语言模型中的先前训练的编码簿以及词性知识作为先验，构建一个视觉相关的编码簿，通过新的编码簿传递网络来实现鲁棒的 VQIM 编码簿学习，实验证明我们的 VQCT 方法在四个数据集上取得了优于现有最先进方法的性能。

    Mar, 2024

  • 理解和改善知识蒸馏，针对大型 Transformer 编码器的量化感知训练

    本文提出了两种知识蒸馏方法，即注意力映射和注意力输出损失，并探索了两者的统一，以解决注意力重构的不足。实验结果表明，这两种知识蒸馏方法可以在使用小于 2 位的量化权重时，获得具有先进性的精度。

    Nov, 2022

  • 高速离散调制连续变量量子密钥分发的量子机器学习

    本文提出了一种使用量子机器学习技术的高速离散调制连续变量量子密钥分发（DM CVQKD）方案，该方案将整个 CVQKD 系统分为三个部分，分别是用于训练和估计量子分类器的初始化部分，用于生成高度相关原始密钥的预测部分以及生成 Alice 和 Bob 之间最终秘密密钥字符串的数据后处理部分。为此，设计了一种低复杂度的量子 k 最近邻（QkNN）分类器，用于预测 Bob 端的丢失性离散调制相干态（DMCSs）。分析了所提出的基于 QkNN 的 CVQKD 在机器学习指标和复杂性方面的性能，并用半定规划（SDP）方法证明了其理论安全性。数值模拟表明，我们提出的方案的秘密密钥速率明显优于现有的 DM CVQKD 协议，并且可以通过增加调制方差进一步增强。

    Aug, 2023

  • 自监督量化感知知识蒸馏

    该论文提出了一种新颖的自监督量化感知知识蒸馏 (SQAKD) 框架，通过将量化感知训练与知识蒸馏相结合，同时最小化全精度模型与低比特模型之间的 KL-Loss 和量化的离散化误差，从而有效克服了现有方法需要繁琐的超参数调节、标签数据需求和复杂的训练过程的限制，并在各种模型结构上明显优于现有的量化感知训练和知识蒸馏方法。

    Mar, 2024

  • QEKD: 基于黑盒模型的无数据查询知识蒸馏

    提出了一种新的查询高效知识蒸馏方法（QEKD），可以从黑盒模型 API 中进行查询有效学习，不需要实际数据，并在不同实际数据集上展现出良好性能。

    May, 2022

  • 通过含蓄的神经网络码本进行残差量化

    QINCo 是一种神经网络 RQ 变体，它通过根据先前步骤的向量逼近条件化地预测每个向量的专门码书，实验证明 QINCo 在多个数据集和码字大小上显著优于现有方法。

    Jan, 2024