Sep, 2021

基于双重纠正策略的 Top-N 推荐系统排名蒸馏

PDF
TL;DR本文提出了 Dual Correction strategy for Distillation (DCD)，该方法通过梯度对齐实现知识转移，将评分信息从教师模型传递到学生模型，以更高效地训练推荐系统，同时解决了每个模型预测错误时所出现的问题，并通过用户和物品两个方面来处理稀疏隐式反馈，实验结果表明，该方法优于现有的基线模型。
发现论文，激发创造
  • 排名蒸馏：学习高性能紧凑排名模型的推荐系统

    在学习排名问题时，我们提出了一种基于知识蒸馏的技术，称为 RD，通过使用更小的模型在保持模型性能的同时提高在线推理的效率，该技术在公共数据集和推荐模型上实现了旨在设计的目的。

    Sep, 2018

  • 基于协同稀疏化的 Top-N 推荐协同学习

    本文提出了一种新的知识蒸馏模型 —— 协作蒸馏模型 (CD)，该模型采用概率排序感知采样、转换误差函数以处理反馈不足以及提供两个训练方法 (即教师指导和学生指导)，在推荐领域中取得了 2.7-33.2% 和 2.7-29.1% 的命中率 (HR) 和标准化折现累计增益 (NDCG) 方面的优异表现。

    Nov, 2019

  • DE-RRD: 推荐系统知识蒸馏框架

    本文提出了一种新的知识蒸馏框架，DE-RRD，用于推荐系统，该框架使得学生模型能够从教师模型中编码的潜在知识和教师的预测中学习。实验证明，DE-RRD 的性能优于现有的竞争对手，并且具有更快的推断时间。

    Dec, 2020

  • 无偏知识蒸馏推荐

    本文提出了一种新的知识蒸馏方法，即分层蒸馏策略，用于解决推荐系统中已有的知识蒸馏方法中存在的推荐偏差问题。该方法通过对热门物品进行分层处理，提取每个组中的排名知识，用于监督学生模型的学习，避免了推荐结果的不准确和不公平。

    Nov, 2022

  • 通过标签修订和数据选择改进知识蒸馏

    该论文提出了一种解决知识蒸馏中错误监督的问题的方法，即通过标签修正纠正教师模型的错误预测，并引入数据选择技术以减少错误监督的影响，实验证明该方法的有效性，并表明该方法可以与其他蒸馏方法相结合，提高其性能。

    Apr, 2024

  • 使用相关距离和网络修剪强化的鲁棒性知识蒸馏

    我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

    Nov, 2023

  • 稠密检索蒸馏的课程学习

    本研究提出了一种基于课程学习的优化框架 CL-DRD，通过控制先前重排（教师）模型产生的训练数据难度级别来优化稠密检索（学生）模型，在三个公共语段检索数据集上的实验证明了该框架的有效性。

    Apr, 2022

  • 准备教材：利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019

  • 推荐系统中的拓扑压缩

    本研究提出了一种新的拓扑蒸馏方法 -- 层次化拓扑蒸馏（HTD）。通过在师傅空间中建立的关系构建的拓扑结构指导学生，以更好地复制推荐系统的主要信息。实验证明，与现有竞争对手相比，该方法在真实数据集上显著提高了推荐的质量。

    Jun, 2021

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020