本文提出了一种基于集成学习的漂移感知增量学习框架，通过明确基于错误的流数据漂移检测，进一步加强适应良好的集合，并冻结不匹配的集合，避免了灾难性干预，从而解决了 CTR 预测中的灾难性遗忘问题。离线实验和 A/B 测试结果表明，该方法优于所有基线方法。

Apr, 2023

提出了一种方法，通过元学习未来梯度生成器来预测未来数据分布的梯度信息，从而训练推荐模型并减小时序领域广义误差，相比 Batch Update 算法，该算法在本地遗憾中的梯度变异项中实现更小的时序领域广义误差。

Sep, 2022

本文中介绍了 Deep Retrieval (DR) 算法，通过学习可检索结构来获取最优推荐结果，其编码所有候选项入离散潜在空间，接着使用当前模型下的光束搜索来检索前置候选项，以实现重新排名。实验证明，使用 DR 算法，在两个公共数据集上能够实现近乎于暴力基线的准确性，并且在实时生产推荐系统上，高度优化的 DR 算法显著优于 ANN 基准线。DR 是非 ANN 的推荐算法在工业推荐系统规模的首批成功部署之一。

Jul, 2020

知识蒸馏将大模型的知识转移到小模型上，近年来取得了显著成就。然而，对于知识蒸馏在分布转移方面的机制，研究还很少。本文通过在转移情况下重新构建目标函数，重新思考了知识蒸馏的范式。在真实情景下，我们提出了一个统一而系统的框架，对两个常见的分布转移包括多样性和相关性转移进行了知识蒸馏的基准测试。评估基准涵盖了来自算法、数据驱动和优化角度的 30 多种方法，用于五个基准数据集。总体上，我们对学生模型进行了大量实验。我们揭示了在分布转移下教学性能的有趣观察结果；尤其是，在许多情况下，复杂的算法和数据增强只能带来有限的收益。

Dec, 2023

通过注意力蒸馏机制，综合评估了提取增强模型的工作流程，明确了影响检索 - 增强语言模型学习质量的关键因素，并提出了优化模型训练方法和避免无效训练的指标。

Feb, 2024

我们通过综合当前时期和历史时期的数据集，研究模型评估和选择在变化环境中的情况。为了应对未知且可能随机的时间分布转移，我们开发了一种自适应滚动窗口方法来估计给定模型的泛化误差。该策略还通过估计两个候选模型的泛化误差差异来方便比较。我们进一步将两两比较整合到单一淘汰赛中，从候选模型集合中实现接近最优的模型选择。理论分析和数值实验证明了我们提出的方法对数据非稳定性的适应性。

Feb, 2024

本文提出了一种新的知识蒸馏框架，DE-RRD，用于推荐系统，该框架使得学生模型能够从教师模型中编码的潜在知识和教师的预测中学习。实验证明，DE-RRD 的性能优于现有的竞争对手，并且具有更快的推断时间。

Dec, 2020

在金融服务行业中，检测异常已成为一项越来越关键的功能。该研究提出了一种基于时间知识蒸馏的标签增强方法，利用旧模型的学习来快速提升最新模型的能力，从而有效减少模型重新训练的时间并改善其性能。

Dec, 2023

本研究提出了一种增量学习框架，用于 Click-Through-Rate (CTR) 预测，并展示了其在 Taboola 庞大规模推荐服务中的有效性。通过从以前部署的模型进行暖启动和仅在 “新鲜” 的数据上微调，我们的方法可以快速捕捉新兴趋势，并通过教师 - 学生范式来保留过去的知识。我们的增量学习框架可以实现显着更快的训练和部署周期（12 倍加速）。我们在多个流量段上证明了一致的 Revenue Per Mille (RPM) 增长和新引入项目的 CTR 显著增加。

Sep, 2022

本文提出了一种受到知识蒸馏启发的学习信息检索器的技术，在没有标注的查询和文档对的情况下，利用阅读器模型的注意力分数来获得检索器的合成标签，用于下游任务，最终在问题回答方面达到了最先进的结果。

Dec, 2020