Oct, 2022

推荐系统中基于标签纠正的设备端模型微调

PDF
TL;DR本研究针对推荐系统中的 CTR 预测任务，研究了如何在移动设备上有效地进行本地微调，提出了一种新的标签修正方法，并通过离线评估和在线 A/B 测试证明了它的必要性和优越性。
deep learning modelsfine-tuningctr predictionmobile deviceslabel correction
发现论文，激发创造
  • 推荐系统中云协调数据增强的本地学习技术，进行极端个性化模型个性化

    本文提出了一种名为 CoDA 的新的设备 - 云协作学习框架，用于解决推荐系统中的数据异质性问题，通过从云端检索类似的样本以增加用户本地数据集进行训练，并在设备上训练个性化样本分类器进行精细数据过滤，以此改善推荐系统的性能。在线 A/B 测试结果显示 CoDA 在云端学习和设备本地训练中都具有显著的性能优势。

    Jan, 2022

  • 通过 Tabular Learning 实现发展中国家的高效点击率预测

    本研究旨在通过建立点击率预测任务与表格学习之间的联系，证明表格学习模型在 CTR 预测中比超参数化 CTR 预测模型更高效、更有效，并通过 8 个公共 CTR 预测数据集上的实验以及实际在线应用的 A / B 测试，证明这种模型不仅可以提高离线性能，还可以提高真实用户的 CTR。

    Apr, 2021

  • 多任务大模型设备调优

    本文提出了 Device Tuning 方法来提高自注意力模型的计算效率，并通过压缩表示减少设备与云端之间的通信，有效支持多任务学习。

    Feb, 2023

  • 关于 CTR 预测中概念漂移的适应性

    本文提出了一种新的自适应专家混合（AdaMoE）框架，通过对 CTR 预测数据流中的统计加权策略来缓解概念漂移问题，并通过基准和实际工业数据集的大量离线实验以及在线 A / B 测试表明，AdaMoE 明显胜过所有考虑的增量学习框架。

    Apr, 2022

  • 细化点击率预测模型的相互学习

    通过模型之间的相互学习算法，提高了点击率（CTR）预测模型在 Criteo 和 Avazu 数据集上的性能，相对提升了 0.66%。

    Jun, 2024

  • PocketLLM: 个性化 LLM 模型的设备端微调

    使用无导数优化技术，实现在内存受限的移动设备上进行大型语言模型的本地微调，为资源受限的设备开启个性化语言模型，同时保护数据隐私。

    Jul, 2024

  • 始终强化优势：基于漂移感知的增量学习框架用于 CTR 预测

    本文提出了一种基于集成学习的漂移感知增量学习框架，通过明确基于错误的流数据漂移检测，进一步加强适应良好的集合，并冻结不匹配的集合，避免了灾难性干预，从而解决了 CTR 预测中的灾难性遗忘问题。离线实验和 A/B 测试结果表明，该方法优于所有基线方法。

    Apr, 2023

  • ALT: 语言和 CTR 模型之间的细粒度对齐性，用于点击率预测

    本文提出了一种新颖的基于 Fine-grained Feature-level Alignment 的语言模型和点击率（CTR）预测模型，通过协同建模和语义知识提取，实现了文本模态和表格模态之间的特征交互和对齐，取得了比现有方法更好的实验结果，并适用于多种语言和 CTR 模型。

    Oct, 2023

  • 解决神经网络在 CTR 预测中的连续训练中的延迟反馈问题

    本篇论文着重探讨如何在存在延迟标签的情况下，从连续的数据流中使用最佳的损失函数和模型进行大规模的学习。通过离线和在线实验的结果，论文得出了一种新的解决方案，可以优化 CTR，并提高广告主的性能。

    Jul, 2019

  • 大规模 CTR 预测的增量学习框架

    本研究提出了一种增量学习框架，用于 Click-Through-Rate (CTR) 预测，并展示了其在 Taboola 庞大规模推荐服务中的有效性。通过从以前部署的模型进行暖启动和仅在 “新鲜” 的数据上微调，我们的方法可以快速捕捉新兴趋势，并通过教师 - 学生范式来保留过去的知识。我们的增量学习框架可以实现显着更快的训练和部署周期（12 倍加速）。我们在多个流量段上证明了一致的 Revenue Per Mille (RPM) 增长和新引入项目的 CTR 显著增加。

    Sep, 2022