SIGIRApr, 2022

Distill-VQ：通过密集嵌入提取知识进行检索导向量化

PDF
TL;DR该论文提出了一种基于知识蒸馏框架的 Distill-VQ 算法，通过将密集的嵌入作为 “教师” 来预测查询与样本文档的相关性，并将 VQ 模块作为 “学生” 学习以复现预测的相关性，得出的检索结果可以完全保留密集嵌入的检索结果，从而使未标记的数据可以给出丰富的训练信号，无需标记数据的高质量向量量化，该算法在实践中具有很强的适用性。
vector quantizationdocument retrievalknowledge distillationrelevance predictionretrieval quality
发现论文，激发创造
  • 知识蒸馏的多码本向量量化索引预测

    本文提出了一种新的多码本量化方法，将生成教师向量卡尺化成为一个编解码问题，实现了教师模型的向量压缩，以减少模型存储需求。在 LibriSpeech 数据集上，用该方法训练的学生模型能够获得与传统 KD 方法（l1, l2）相当的 ASR 性能，并在存储容量上实现了 256 倍的减少。

    Oct, 2022

  • QUEST: 量化嵌入空间用于知识转移

    本文提出一种通过量化空间来传输知识、学习教师网络中的主视觉概念的知识蒸馏方法，通过对多种网络结构和常用基准数据集的广泛评估，证明了该方法优于现有的知识蒸馏方法。

    Dec, 2019

  • 蒸馏技术提高低质量查询的视觉位置识别

    通过改进深度学习方法，使用高质量的查询图像为在线计算的视觉定位提供更好的特征表示，从而提高低质量查询图像的视觉定位性能。

    Oct, 2023

  • DistilDoc: 视觉内容丰富文档应用的知识蒸馏

    针对视觉丰富的文档应用（如文档布局分析和文档图像分类），本文探讨了知识蒸馏（KD）。通过设计一种 KD 实验方法，我们研究了不同架构和容量的骨干模型之间的知识传递策略对教师 - 学生知识差距的影响，并发现一些方法可以始终优于监督学生训练。此外，我们设计了下游任务设置，评估了蒸馏的布局分析模型在零样本布局感知文档视觉问答上的鲁棒性，结果表明存在较大的知识差距，强调进一步探索如何高效获得更多的语义文档布局意识的必要性。

    Jun, 2024

  • 视觉语言预训练的精简与有效的跨模态检索

    基于大规模预训练模型的学习哈希方法为跨模态检索提供了性能优化，并引入了一种名为 DCMQ 的新方法，利用 VLP 模型的语义知识改进了哈希表示学习，通过引入 PQG 量化方法和 NPC 转换进一步提高了检索性能。

    May, 2024

  • 共同优化查询编码器和产品量化来提高检索性能

    本文介绍了一种名为 JPQ 的联合优化方法，该方法结合了查询编码和 Product Quantization，以实现高效的 Dense Retrieval，并在两个公开的评估基准测评中获得了显着的性能提升。

    Aug, 2021

  • 通过约束聚类学习离散表示以实现有效和高效的密集检索

    RepCONC 是一种通过 CONstrained Clustering 学习离散文档表示形式来实现快速近似最近邻搜索的新型检索模型，它为量化建模提供了约束聚类方法，并在两个受欢迎的信息检索基准测试上展示了比竞争向量量化基线更好的排名效果。

    Oct, 2021

  • 深度无监督图像检索的自监督产品量化

    提出了 “自我监督产品量化（SPQ）” 网络，它是一个无需标签、自我监督的深度学习图像检索方法，通过比较转换后的图像（视图）来学习深度视觉描述符和码字，分析图像的内容提取其描述性特征，实现准确的图像检索，实验表明在基准测试中得到了业内领先的结果，即使在没有有监督预训练的情况下。

    Sep, 2021

  • 知识蒸馏的视觉语言模型压缩

    本文提出 VL distillation，使用知识蒸馏方法将基于 transformer 的大型 VL 模型压缩成小型 VL 模型，以提高图像字幕生成和视觉问答任务中的性能。

    Apr, 2021

  • 具有动态向量量化的自适应离散通信瓶颈

    本研究提出了一种基于动态选择离散化紧密度的方法，通过调整 VQ 方法中的码本大小和离散码数来实现，以应对数据中的复杂性差异，这种方法可在视觉推理和强化学习任务中提高模型性能。

    Feb, 2022