大规模 CTR 预测的增量学习框架

MMSep, 2022

An Incremental Learning framework for Large-scale CTR Prediction

Petros Katsileros, Nikiforos Mandilaras, Dimitrios Mallis, Vassilis Pitsikalis, Stavros Theodorakis...

TL;DR本研究提出了一种增量学习框架，用于 Click-Through-Rate (CTR) 预测，并展示了其在 Taboola 庞大规模推荐服务中的有效性。通过从以前部署的模型进行暖启动和仅在 “新鲜” 的数据上微调，我们的方法可以快速捕捉新兴趋势，并通过教师 - 学生范式来保留过去的知识。我们的增量学习框架可以实现显着更快的训练和部署周期（12 倍加速）。我们在多个流量段上证明了一致的 Revenue Per Mille (RPM) 增长和新引入项目的 CTR 显著增加。

Abstract

In this work we introduce an incremental learning framework for Click-Through-Rate (CTR) prediction and demonstrate its effectiveness for taboola's massive-scale recommendation service. Our approach enables rapid

incremental learning click-through-rate prediction teacher-student paradigm distillation technique taboola

发现论文，激发创造

始终强化优势：基于漂移感知的增量学习框架用于 CTR 预测

本文提出了一种基于集成学习的漂移感知增量学习框架，通过明确基于错误的流数据漂移检测，进一步加强适应良好的集合，并冻结不匹配的集合，避免了灾难性干预，从而解决了 CTR 预测中的灾难性遗忘问题。离线实验和 A/B 测试结果表明，该方法优于所有基线方法。

Apr, 2023

一种实用的增量训练深度 CTR 模型的方法

介绍了一种针对推荐系统中的深度 CTR 模型训练的增量学习方法，其通过数据、特征和模型三个模块解耦来增量更新模型。通过在公共基准数据集和私有数据集上进行实验证明了该方法高效可行，达到与传统批量模式相媲美的性能。

Sep, 2020

通过 Tabular Learning 实现发展中国家的高效点击率预测

本研究旨在通过建立点击率预测任务与表格学习之间的联系，证明表格学习模型在 CTR 预测中比超参数化 CTR 预测模型更高效、更有效，并通过 8 个公共 CTR 预测数据集上的实验以及实际在线应用的 A / B 测试，证明这种模型不仅可以提高离线性能，还可以提高真实用户的 CTR。

Apr, 2021

关于 CTR 预测中概念漂移的适应性

本文提出了一种新的自适应专家混合（AdaMoE）框架，通过对 CTR 预测数据流中的统计加权策略来缓解概念漂移问题，并通过基准和实际工业数据集的大量离线实验以及在线 A / B 测试表明，AdaMoE 明显胜过所有考虑的增量学习框架。

Apr, 2022

再看 CTR 预测：关注全部需求吗？

本文旨在使用经济学中的离散选择模型对点击率 (CTR) 预测问题进行重新定义，并提出了一种使用自注意力机制构建的通用神经网络框架，该框架与现有的大多数 CTR 预测模型相一致，同时还考虑了模型的表达能力和复杂性，最后通过一些公共数据集上的实验结果证明了我们提出的见解。

May, 2021

点击率预测的检索导向知识

本文提出了一种通用的即插即用检索导向的知识（ROK）框架，通过设计一个知识库，利用知识蒸馏和对比学习方法来优化知识库，并将学习到的检索增强表示与任意 CTR 模型以实例级和特征级的方式进行集成，从而实现了与基于检索的 CTR 模型相当的性能，并具备更好的推断效率和模型兼容性。

Apr, 2024

细化点击率预测模型的相互学习

通过模型之间的相互学习算法，提高了点击率（CTR）预测模型在 Criteo 和 Avazu 数据集上的性能，相对提升了 0.66%。

Jun, 2024

点击率预测的置信度排名

本文提出了一种名为 “置信度排名” 的新型框架，使用两个不同的模型以排名函数的形式设计优化目标，允许针对不同凸代理函数的评估指标进行直接优化，例如 AUC 和 Accuracy。实验结果表明，引入置信度排名损失后，可以在公共和工业数据集的 CTR 预测任务上胜过所有基线，该框架已在 JD.com 的广告系统中部署以提高精细排名阶段的主要流量表现。

Jun, 2023

MAP: 用于点击率预测的模型无关预训练框架

基于大规模用户点击日志的自我监督学习对于点击率（CTR）预测仍然是一个开放性问题，而我们提出了一个无模型的预训练框架，利用特征破坏和恢复，挖掘多领域分类数据的特征交互，并通过两种实用的算法（即遮蔽特征预测和更替特征检测）进一步优化 CTR 预训练，实现了在 CTR 预测方面的有效性和效率的新的最先进表现。

Aug, 2023

使用多模态 Transformer 进行基于帧的直播流点击率预测

本文提出了一种基于多模态 Transformer 的 ContentCTR 模型，采用帧级别的 CTR 预测来充分利用视觉帧、音频和评论等多模态信息，借助具有一阶差分约束的新型成对损失函数来利用亮点和非亮点间的对比信息，以及基于动态时间规整的时间文本 - 视频对齐模块以捕捉实时内容变化，实验表明该方法在真实场景和公共数据集上进行推荐时均优于传统方法，应用于公司平台后的在线 A/B 测试也进一步验证了其实际意义。

Jun, 2023