May, 2023

深度点击率预测模型的多时期学习

PDF
TL;DR本文提出了一种基于多 epoch 和数据增强的深度 CTR 模型训练方法 MEDA，通过重新初始化嵌入层避免嵌入层过拟合和提高收敛速度，实验结果表明 MEDA 方法能够显著优于传统的单 epoch 训练方法，且在快手等实际应用场景中也具有显著的优势。
overfittingctrembeddingmulti-epochdata augmentation
发现论文，激发创造
  • 深度点击率预测的多时期学习与数据增强

    本文研究点击率 (CTR) 模型中的单次过拟合现象，通过引入多次训练周期和数据增强的 MEDA 框架，减小嵌入层对数据稀疏性的依赖，实现数据增强，提高性能而避免过拟合，通过实验证明其在深度 CTR 预测模型方面的有效性及在实际在线广告系统中的显著优势。

    Jun, 2024

  • 深度点击率预测模型过拟合现象的理解

    本研究表明，深度学习在工业推荐系统中得到了广泛的应用，但其模型在推荐系统中的过拟合问题受到的关注较少，而在点击率（CTR）预测中，出现了一个有趣的一次过拟合问题：模型性能在第二次迭代的开始时急剧下降，因此，通常使用仅一次迭代训练时性能最佳。本研究在阿里巴巴的广告系统数据集上进行了广泛的实验，结果表明，模型结构，具有快速收敛率的优化算法以及特征的稀疏性与一次过度拟合的现象密切相关，并提供了一个可能的假设来解释这种现象，并进行了一系列的概念证明实验，希望这项工作能为未来研究提供启示，训练更多迭代以获得更好的性能。

    Sep, 2022

  • 关于 CTR 预测中概念漂移的适应性

    本文提出了一种新的自适应专家混合（AdaMoE）框架，通过对 CTR 预测数据流中的统计加权策略来缓解概念漂移问题，并通过基准和实际工业数据集的大量离线实验以及在线 A / B 测试表明，AdaMoE 明显胜过所有考虑的增量学习框架。

    Apr, 2022

  • 始终强化优势：基于漂移感知的增量学习框架用于 CTR 预测

    本文提出了一种基于集成学习的漂移感知增量学习框架，通过明确基于错误的流数据漂移检测，进一步加强适应良好的集合，并冻结不匹配的集合，避免了灾难性干预，从而解决了 CTR 预测中的灾难性遗忘问题。离线实验和 A/B 测试结果表明，该方法优于所有基线方法。

    Apr, 2023

  • MAP: 用于点击率预测的模型无关预训练框架

    基于大规模用户点击日志的自我监督学习对于点击率（CTR）预测仍然是一个开放性问题，而我们提出了一个无模型的预训练框架，利用特征破坏和恢复，挖掘多领域分类数据的特征交互，并通过两种实用的算法（即遮蔽特征预测和更替特征检测）进一步优化 CTR 预训练，实现了在 CTR 预测方面的有效性和效率的新的最先进表现。

    Aug, 2023

  • 大规模 CTR 预测的增量学习框架

    本研究提出了一种增量学习框架，用于 Click-Through-Rate (CTR) 预测，并展示了其在 Taboola 庞大规模推荐服务中的有效性。通过从以前部署的模型进行暖启动和仅在 “新鲜” 的数据上微调，我们的方法可以快速捕捉新兴趋势，并通过教师 - 学生范式来保留过去的知识。我们的增量学习框架可以实现显着更快的训练和部署周期（12 倍加速）。我们在多个流量段上证明了一致的 Revenue Per Mille (RPM) 增长和新引入项目的 CTR 显著增加。

    Sep, 2022

  • 解决神经网络在 CTR 预测中的连续训练中的延迟反馈问题

    本篇论文着重探讨如何在存在延迟标签的情况下，从连续的数据流中使用最佳的损失函数和模型进行大规模的学习。通过离线和在线实验的结果，论文得出了一种新的解决方案，可以优化 CTR，并提高广告主的性能。

    Jul, 2019

  • 深度多表示模型用于点击率预测

    本研究提出 Deep Multi-Representation (DeepMR) 模型，通过联合训练 DNN 和多头自注意力这两种功能强大的特征表示学习组件，以及使用零初始化的残差连接（ReZero）来提高输入表示的性能，在三个真实数据集上的 CTR 预测任务中超越了所有现有的最先进模型。

    Oct, 2022

  • 一种实用的增量训练深度 CTR 模型的方法

    介绍了一种针对推荐系统中的深度 CTR 模型训练的增量学习方法，其通过数据、特征和模型三个模块解耦来增量更新模型。通过在公共基准数据集和私有数据集上进行实验证明了该方法高效可行，达到与传统批量模式相媲美的性能。

    Sep, 2020

  • 细化点击率预测模型的相互学习

    通过模型之间的相互学习算法，提高了点击率（CTR）预测模型在 Criteo 和 Avazu 数据集上的性能，相对提升了 0.66%。

    Jun, 2024