我们提出了一种基于任务驱动的因果特征蒸馏（TDCFD）模型，将原始特征值转化为特定风险预测任务的因果特征归因，通过因果特征蒸馏和深度神经网络的结合，可产生具有因果解释力、高精确度 / 召回率以及可靠性的预测结果。

Dec, 2023

提出一种基于知识蒸馏的简单而高效的方法，以缓解位置偏差的影响，利用位置信息来提高 CTR 预测性能。在真实世界的生产数据集和在线 A/B 测试中，该方法取得了显著的性能改善，并已在全球最大电商平台的主要流量服务中部署。

Apr, 2022

本论文提出一种基于知识蒸馏（KD）的模型训练策略，通过将教师模型学到的知识传输给学生模型，简化深度神经网络（DNN）学生模型并实现了显著的精度提高，使用多个教师模型进行训练进一步提高了学生模型的准确性。包括教师门控以及蒸馏损失提前停止等创新方法在内的多个实验表明了基于知识蒸馏的训练策略的有效性。

Nov, 2020

本研究提出了 Cloak 框架，其通过梯度优化方法在输入特征空间中发现功能性预测模型所需的子集，并使用保证效用的常量值抑制其余特征，从而减少机器学习服务中数据泄露和隐私问题。实验结果表明，Cloak 可将输入特征与筛选后的表征之间的互信息降低 85.01％，对效用的影响几乎可以忽略不计（1.42％）。

Mar, 2020

提出了一种基于要素丰富度得分方法的知识蒸馏算法，支持目标检测任务，并可显著提高检测性能，尤其在资源有限的设备上表现优异。

Nov, 2021

本研究针对目标检测中知识蒸馏问题，通过分析教师和学生模型行为差异提出了基于 Rank Mimicking 和 Prediction-guided Feature Imitation 的知识蒸馏方法，有效地提高了学生模型的精确度和加速度。

Dec, 2021

本文提出了一种用于跨平台推荐的隐私保护双蒸馏框架，其通过双重蒸馏策略实现了跨平台本地模型知识转移，采用离线训练方案降低了通信需求和隐私泄露风险，并采用差分隐私进一步保护传输的信息。与现有领先方法相比，本文的方法在两个真实数据集上实现了更好的效果。

May, 2023

本文提出了匹配引导蒸馏（Matching Guided Distillation，MGD）方法，该方法是一种高效的，不需要参数的方法，旨在解决适配模块带来的问题和随机初始化或特殊转换对预训练学生进行提炼的不利影响。MGD 的关键思想是将教师信道与学生信道的匹配作为分配问题，通过三种解决方案将教师信道的数量减少到学生信道，并使用部分蒸馏损失来更新分配。整个训练采用两个优化目标之间的协调下降方法。

Aug, 2020

本研究提出一种新的知识蒸馏方法，即通过皮尔逊相关系数来模拟特征之间的相互关系，以放松特征大小的限制，从而有效地在目标检测中训练异构模型，并在 COCO2017 数据集上分别与 RetinaNet 和 FCOS 基线相比，分别获得 4.1％和 4.8％的 mAP 提高。

Jul, 2022

本研究提出了一种名为 DeFeat 的新型知识蒸馏算法，通过解耦区域特征和分类头提议来提高学生检测器的性能，以实现从复杂教师网络到紧凑学生网络的信息遗传。实验结果表明，DeFeat 相较于先前的知识蒸馏方法可以取得更好的物体检测成果。

Mar, 2021