利用跨架构知识蒸馏改进高效神经排序模型

Oct, 2020

利用跨架构知识蒸馏改进高效神经排序模型

Improving Efficient Neural Ranking Models with Cross-Architecture Knowledge Distillation

Sebastian Hofstätter, Sophia Althammer, Michael Schröder, Mete Sertkan, Allan Hanbury

TL;DR该研究探讨了如何提高基于 BERT 和非 BERT 的不同命令匹配体系结构的目标性能，提出了一种跨体系结构教授的知识蒸馏过程，使用 Margin-MSE 损失相对输出分数进行适应，从而显著提高再排序效果。同时，研究发布了教师 - 分数培训文件的软件包，以造福社区。

Abstract

Retrieval and ranking models are the backbone of many applications such as web search, open domain QA, or text-based recommender systems. The latency of neural ranking models at query time is largely dependent on

retrieval models ranking models knowledge distillation bert models efficiency

发现论文，激发创造

用于语言模型中有效师生知识迁移的神经结构搜索

提出了使用神经架构搜索（NAS）来寻找最佳学生模型进行知识蒸馏的 KD-NAS 模型，该模型检索出与自然语言任务关联的顶级候选架构，然后在完整的下游任务培训集上提取架构，获得与手工制作的学生模型相当的性能，在 GPU 延迟方面却以 15％的速度提升（CPU 方面则以 20％的速度提升）。

Mar, 2023

重新审视面向架构的知识蒸馏：更小的模型和更快的搜索

介绍一种名为 TRADE 的新算法，利用 Trust Region Aware architecture search 快速寻找有效的学生网络结构，并使用 Bayesian optimization 方法优化。实验结果表明，TRADE 算法在知识蒸馏下产生的学生网络结构在性能上显着优于常规 NAS 方法和预定义体系结构。

Jun, 2022

神经语言模型的一致性蒸馏架构

本研究探讨了一种 Knowledge Distillation 的新方法，即从神经网络和词汇知识库中提取语言信息，以提供大规模模型的高效替代方案，并提出了两种基于多个 teacher networks 预测权重的技术以及一种用于词义消歧的方法，并发现使用本文中的词汇预训练方法可在不增加参数的情况下提高自然语言理解任务 (NLU) 的性能，同时在 Plagiarism Detection 方面也有了更好的表现。

Jan, 2023

利用神经架构搜索实现 Oracle 知识蒸馏

提出了一种新的知识蒸馏框架，利用神经架构搜索技术和神经网络来学习深度神经网络教师模型以获得高效的学生模型。该方法通过减少教师和学生之间的模型容量差距，从而最大化从教师模型进行蒸馏的收益，我们在基于 CIFAR-100 和 TinyImageNet 的图像分类数据集上进行了广泛的实验，并通过神经架构搜索技术发现新的学生模型，其在准确性和内存使用上都比教师模型表现更好。

Nov, 2019

句向量排序模型的极端压缩：在边缘设备上实现更快的推理、更长的电池续航和更少的存储

本篇研究提出了在两种不同类型的 ranker 模型上扩展句子转换蒸馏过程的两种方法，包括生成最优尺寸的词汇表和在蒸馏之前对教师的嵌入维数进行降维。结果表明，采用这些扩展技术的学生模型具有极大的压缩程度，而且在测试数据集上表现出高度的有效性和能用性。

Jun, 2022

MLKD-BERT：预训练语言模型的多层知识蒸馏

我们提出了一种新颖的知识蒸馏方法 MLKD-BERT，在教师 - 学生框架中蒸馏多层级知识。对 GLUE 基准和提取型问答任务的大量实验表明，我们的方法在 BERT 上胜过了最先进的知识蒸馏方法。此外，MLKD-BERT 可以灵活设置学生注意力头数，能够显著减少推理时间并且性能损失很小。

Jul, 2024

MKD：一种预训练语言模型的多任务知识蒸馏方法

本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

Nov, 2019

使用紧密耦合的教师将密集表示提炼为排名

通过知识蒸馏，将 ColBERT 中用于计算相关性分数的 MaxSim 操作的知识提取出来，应用于密集表示的排名方法中，从而提高了查询延迟并减少了 ColBERT 的存储开销。同时，将我们的密集表示与从文档扩展中导出的稀疏表示相结合，可以接近标准的基于 BERT 的交叉编码排序器的效果。

Oct, 2020

基于多任务知识蒸馏的模型压缩在 Web 规模问答系统中的应用

我们提出了一种多任务知识蒸馏模型，通过从多个教师模型中提取知识，向轻量级学生模型进行蒸馏，从而解决了将复杂模型应用于实际业务场景的问题，同时加速了模型推理并取得了比基线方法更好的结果以及与原始教师模型相当的结果。

Apr, 2019

BERT 排名器在蒸馏下的理解

本文研究了如何通过蒸馏将 BERT 中的搜索知识传递到更小的排名器中，实验表明，使用适当的蒸馏过程可以实现最高 9 倍速度提升，同时保持最先进的性能。

Jul, 2020