Dec, 2020

DE-RRD: 推荐系统知识蒸馏框架

PDF
TL;DR本文提出了一种新的知识蒸馏框架，DE-RRD，用于推荐系统，该框架使得学生模型能够从教师模型中编码的潜在知识和教师的预测中学习。实验证明，DE-RRD 的性能优于现有的竞争对手，并且具有更快的推断时间。
recommender systemsknowledge distillationmodel compressionde-rrdlatent knowledge
发现论文，激发创造
  • 排名蒸馏：学习高性能紧凑排名模型的推荐系统

    在学习排名问题时，我们提出了一种基于知识蒸馏的技术，称为 RD，通过使用更小的模型在保持模型性能的同时提高在线推理的效率，该技术在公共数据集和推荐模型上实现了旨在设计的目的。

    Sep, 2018

  • 基于双重纠正策略的 Top-N 推荐系统排名蒸馏

    本文提出了 Dual Correction strategy for Distillation (DCD)，该方法通过梯度对齐实现知识转移，将评分信息从教师模型传递到学生模型，以更高效地训练推荐系统，同时解决了每个模型预测错误时所出现的问题，并通过用户和物品两个方面来处理稀疏隐式反馈，实验结果表明，该方法优于现有的基线模型。

    Sep, 2021

  • 无偏知识蒸馏推荐

    本文提出了一种新的知识蒸馏方法，即分层蒸馏策略，用于解决推荐系统中已有的知识蒸馏方法中存在的推荐偏差问题。该方法通过对热门物品进行分层处理，提取每个组中的排名知识，用于监督学生模型的学习，避免了推荐结果的不准确和不公平。

    Nov, 2022

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • 推荐系统中的拓扑压缩

    本研究提出了一种新的拓扑蒸馏方法 -- 层次化拓扑蒸馏（HTD）。通过在师傅空间中建立的关系构建的拓扑结构指导学生，以更好地复制推荐系统的主要信息。实验证明，与现有竞争对手相比，该方法在真实数据集上显著提高了推荐的质量。

    Jun, 2021

  • 关系知识蒸馏

    该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

    Apr, 2019

  • 稠密检索蒸馏的课程学习

    本研究提出了一种基于课程学习的优化框架 CL-DRD，通过控制先前重排（教师）模型产生的训练数据难度级别来优化稠密检索（学生）模型，在三个公共语段检索数据集上的实验证明了该框架的有效性。

    Apr, 2022

  • 异构模型的 Top-K 推荐中的蒸馏

    本研究提出了一种名为 HetComp 的知识蒸馏框架，用于将异构模型的整体知识转移给一个轻量级模型，以减少资源成本和推理延迟，该框架使用动态知识构建和自适应知识传输提供逐步更难的排序信息，并通过全面实验表明该框架能够显著提高精度和泛化性能。

    Mar, 2023

  • 基于协同稀疏化的 Top-N 推荐协同学习

    本文提出了一种新的知识蒸馏模型 —— 协作蒸馏模型 (CD)，该模型采用概率排序感知采样、转换误差函数以处理反馈不足以及提供两个训练方法 (即教师指导和学生指导)，在推荐领域中取得了 2.7-33.2% 和 2.7-29.1% 的命中率 (HR) 和标准化折现累计增益 (NDCG) 方面的优异表现。

    Nov, 2019

  • 提升知识蒸馏与教师解释

    我们提出了一种名为知识解释蒸馏（KED）的框架，通过引入超特征解释教师，允许学生不仅从教师的预测中学习，还从教师的解释中学习，以及使用卷积神经网络降低复杂性、隐藏表示蒸馏方法扩充和使用嵌套数据集来处理有限的训练数据，实验证明，KED 学生可以显著优于类似复杂度的 KD 学生。

    Oct, 2023