本论文提出一种基于知识蒸馏（KD）的模型训练策略，通过将教师模型学到的知识传输给学生模型，简化深度神经网络（DNN）学生模型并实现了显著的精度提高，使用多个教师模型进行训练进一步提高了学生模型的准确性。包括教师门控以及蒸馏损失提前停止等创新方法在内的多个实验表明了基于知识蒸馏的训练策略的有效性。

Nov, 2020

本文综述了 CTR 估算任务中使用的深度学习模型，包括从浅层到深度 CTR 模型的转换，深度 CTR 模型的显式特征交互学习模块，用户行为模型，以及深度 CTR 架构设计的自动化方法。

Apr, 2021

本研究提出 Deep Multi-Representation (DeepMR) 模型，通过联合训练 DNN 和多头自注意力这两种功能强大的特征表示学习组件，以及使用零初始化的残差连接（ReZero）来提高输入表示的性能，在三个真实数据集上的 CTR 预测任务中超越了所有现有的最先进模型。

Oct, 2022

本文提出了一种基于集成学习的漂移感知增量学习框架，通过明确基于错误的流数据漂移检测，进一步加强适应良好的集合，并冻结不匹配的集合，避免了灾难性干预，从而解决了 CTR 预测中的灾难性遗忘问题。离线实验和 A/B 测试结果表明，该方法优于所有基线方法。

Apr, 2023

本研究提出了一种增量学习框架，用于 Click-Through-Rate (CTR) 预测，并展示了其在 Taboola 庞大规模推荐服务中的有效性。通过从以前部署的模型进行暖启动和仅在 “新鲜” 的数据上微调，我们的方法可以快速捕捉新兴趋势，并通过教师 - 学生范式来保留过去的知识。我们的增量学习框架可以实现显着更快的训练和部署周期（12 倍加速）。我们在多个流量段上证明了一致的 Revenue Per Mille (RPM) 增长和新引入项目的 CTR 显著增加。

Sep, 2022

提出一种基于知识蒸馏的简单而高效的方法，以缓解位置偏差的影响，利用位置信息来提高 CTR 预测性能。在真实世界的生产数据集和在线 A/B 测试中，该方法取得了显著的性能改善，并已在全球最大电商平台的主要流量服务中部署。

Apr, 2022

本文旨在使用经济学中的离散选择模型对点击率 (CTR) 预测问题进行重新定义，并提出了一种使用自注意力机制构建的通用神经网络框架，该框架与现有的大多数 CTR 预测模型相一致，同时还考虑了模型的表达能力和复杂性，最后通过一些公共数据集上的实验结果证明了我们提出的见解。

May, 2021

DeepMCP 模型基于匹配、关联和预测三个子网络，可以更准确地预测在线广告系统中的 CTR，并在两个大型数据集上优于现有的人工智能模型。

Jun, 2019

本研究旨在通过建立点击率预测任务与表格学习之间的联系，证明表格学习模型在 CTR 预测中比超参数化 CTR 预测模型更高效、更有效，并通过 8 个公共 CTR 预测数据集上的实验以及实际在线应用的 A / B 测试，证明这种模型不仅可以提高离线性能，还可以提高真实用户的 CTR。

Apr, 2021

本文提出了一种新颖的基于 Fine-grained Feature-level Alignment 的语言模型和点击率（CTR）预测模型，通过协同建模和语义知识提取，实现了文本模态和表格模态之间的特征交互和对齐，取得了比现有方法更好的实验结果，并适用于多种语言和 CTR 模型。

Oct, 2023