Feb, 2024

在崩溃和纠缠的世界中的广告推荐

PDF
TL;DR本文介绍了一种行业广告推荐系统，重点关注学习合适表示的挑战和实践。我们展示了保留先验信息的方法，将各种类型的特征编码为嵌入表示。此外，我们探讨了特征表示中的两个关键挑战：嵌入维度崩塌和各种任务或场景的兴趣交织。随后，我们提出了几种实用的方法来有效应对这两个挑战。我们还探索了几种训练技术，以促进模型优化、减少偏差和增强探索。此外，我们介绍了三种分析工具，可以全面研究特征相关性、维度崩塌和兴趣交织。本研究建立在腾讯广告推荐团队过去十年的持续努力基础上，不仅总结了一般的设计原则，还提供了一系列现成的解决方案和分析工具。所报告的性能基于我们的在线广告平台，每天处理数千亿个请求，为数十亿用户提供数百万个广告。
ad recommendation systemlearning appropriate representationsembedding featuresdimensional collapseinterest entanglement
发现论文，激发创造
  • 推荐模型扩展时的嵌入器溃缩问题研究

    通过对扩大模型的嵌入层进行实证和理论分析，研究人员发现嵌入坍塌现象是限制大规模推荐模型可扩展性的关键问题，并提出一种多嵌入设计来捕捉不同模式并减少崩溃，从而为各种推荐模型提供一致的扩展性。

    Oct, 2023

  • 推荐系统中的嵌入：一项调查

    推荐系统中的嵌入技术是关键，它将高维离散特征转化为低维连续向量以提升推荐性能，并涵盖协同过滤、自监督学习和基于图的技术，同时介绍了自动机器学习、哈希技术和量化技术，旨在改善推荐系统的性能和降低计算复杂性。

    Oct, 2023

  • 面向开放世界推荐：一种基于归纳模型的协同过滤方法

    本文提出了一种基于矩阵分解的协同过滤框架，旨在针对开放世界推荐系统中遇到的新用户进行归纳式表示学习并取得良好效果。模型使用了注意力机制进行双模型转换，运用神经信息传递技术计算新场景下用户嵌入。实验结果表明，我们的模型可实现在有限的训练数据下，针对新用户的优秀推荐，并具有等效的矩阵因式分解表现。

    Jul, 2020

  • 面向阿里巴巴电商推荐的十亿级商品嵌入

    本文提出了一种基于图嵌入框架的技术解决方案来应对淘宝推荐系统面临的规模，稀疏以及冷启动三大挑战，并通过离线实验和线上 A/B 测试表明，这种方法在淘宝的生产环境中是有效的和可行的。

    Mar, 2018

  • 从大型语言模型到推荐系统的知识迁移：实践工业应用

    借助大型语言模型（LLMs）预训练的能力来提升推荐系统的性能，采用 LLMs 作为物品编码器，通过 LEARN 框架将开放世界知识与协同知识相结合，以解决冷启动和长尾用户推荐中的性能问题。

    May, 2024

  • 统一在线 Top-K 推荐的稳健表征学习

    在大规模工业电子商务中，强调在线推荐系统的效率对于传递与多样化业务场景相关的高度相关的物品 / 内容广告至关重要。然而，现有研究大多专注于物品广告而忽视了内容广告的重要性，导致多实体结构内的不一致性和不公平检索。本文提出了一种能够解决这些问题的统一在线前 k 推荐的鲁棒表示学习方法，该方法构建了实体空间内的统一建模来确保数据的公平性。通过域对抗学习和多视图 Wasserstein 分布学习来学习鲁棒表示，同时通过同方差权重和正交约束来平衡冲突目标。各种实验证实了我们提出的方法的有效性和合理性，并在实际业务场景中成功部署。

    Oct, 2023

  • 为推荐设计的内存高效嵌入

    本文介绍一种基于 AutoML 的框架（AutoDim），该框架可以以数据驱动的方式自动为不同的特征字段选择维度，并在基准数据集上进行了广泛实验来验证其有效性。

    Jun, 2020

  • 可控制的多兴趣推荐框架

    本文提出了一种新颖的可控多兴趣框架 ComiRec 用于序列推荐，利用一个多兴趣模块从用户行为序列中捕捉不同兴趣点，为大规模商品库检索候选商品，进而通过整合模块平衡推荐的准确性和多样性，实现了与现有模型相比显著的性能提升，已成功部署在阿里巴巴分布式云平台。

    May, 2020

  • 将结构化知识蒸馏到嵌入式向量中，用于可解释而且准确的推荐

    通过提取结构化知识，我们提出了一种端到端的联合学习框架，旨在解决基于嵌入的推荐模型缺乏可解释性和受到数据稀疏性的困境。实验证明，该框架能够实现最先进的推荐效果，并且能够提供可解释的推荐原因。

    Dec, 2019

  • 联合学习推荐和广告

    本文提出了一种新的两级强化学习框架，用于联合优化推荐和广告策略，第一层生成推荐列表以优化用户体验，第二层将广告插入推荐列表以平衡广告客户的即时广告收入和广告对长期用户体验的负面影响。实验结果表明该框架的有效性。

    Feb, 2020