用于快速训练点击率预测模型的极限学习机
本文综述了 CTR 估算任务中使用的深度学习模型,包括从浅层到深度 CTR 模型的转换,深度 CTR 模型的显式特征交互学习模块,用户行为模型,以及深度 CTR 架构设计的自动化方法。
Apr, 2021
本研究提出 Deep Multi-Representation (DeepMR) 模型,通过联合训练 DNN 和多头自注意力这两种功能强大的特征表示学习组件,以及使用零初始化的残差连接(ReZero)来提高输入表示的性能,在三个真实数据集上的 CTR 预测任务中超越了所有现有的最先进模型。
Oct, 2022
使用 Hypergraph Click-Through Rate prediction framework 模型,利用多模态交互的用户和物品信息和生成的基于兴趣的用户超图和物品超图,通过时间感知的用户 - 物品二分网络来预测用户对微视频点击率,该模型表现显著优于其他现有的模型。
Sep, 2021
提出了一种实用的 CTR 预测模型 —— 记忆增强型 DNN,该模型通过创建两个外部记忆向量来记住每个用户的历史行为信息,并取得了在离线和在线实验中都表现出良好的绩效。
Jul, 2019
本文介绍了一种名为 DeepLight 的框架,用于加速 CTR 预测,该框架通过显式地搜索浅层组件中的信息交互、裁剪深度神经网络(DNN)组件中的冗余层和参数以及提高嵌入层稀疏性的方式,成功地将模型推断速度提高了 46 倍,在不降低预测准确性的情况下,有望在广告投放生产中成功部署复杂的基于嵌入的神经网络。
Feb, 2020
本研究旨在通过建立点击率预测任务与表格学习之间的联系,证明表格学习模型在 CTR 预测中比超参数化 CTR 预测模型更高效、更有效,并通过 8 个公共 CTR 预测数据集上的实验以及实际在线应用的 A / B 测试,证明这种模型不仅可以提高离线性能,还可以提高真实用户的 CTR。
Apr, 2021
本研究提出了一种增量学习框架,用于 Click-Through-Rate (CTR) 预测,并展示了其在 Taboola 庞大规模推荐服务中的有效性。通过从以前部署的模型进行暖启动和仅在 “新鲜” 的数据上微调,我们的方法可以快速捕捉新兴趋势,并通过教师 - 学生范式来保留过去的知识。我们的增量学习框架可以实现显着更快的训练和部署周期(12 倍加速)。我们在多个流量段上证明了一致的 Revenue Per Mille (RPM) 增长和新引入项目的 CTR 显著增加。
Sep, 2022
本文提出了一种仅需 8K 参数便可以匹配详细仿生神经元模型的输入输出关系的神经元 —— 表现力可透过式记忆 (ELM) 神经元进行多种复杂计算任务,并成功超过其他模型,这表明了生物学动机、高效的神经元模型在挑战性的机器学习任务中的潜在应用。
Jun, 2023
本文采用深度学习技术实现 Click-through rate(CTR)预测,并采用神经元级别检查模型内部状态,实施逐层性能测量探针方法,以及基于反向传播梯度的显著性分数计算来计算特征的影响。该模型可用于理解,监视,诊断和改进模型和算法的多个实际应用。
Jun, 2018