Nov, 2023

扩展用户建模：大规模在线用户表征用于元广告个性化

PDF
TL;DR用户表示对个性化广告至关重要。为了解决训练吞吐量、服务延迟和内存的严格限制，我们提出了一个名为 Scaling User Modeling (SUM) 的框架，在 Meta 的广告排名系统中广泛部署，旨在实现数百种广告模型之间高效可扩展的在线用户表示共享。SUM 利用几个指定的上游用户模型，通过先进的建模技术从大量的用户特征中合成用户嵌入，然后将这些嵌入作为输入传递给下游的在线广告排名模型，促进了高效的表示共享。我们通过全面的实验验证了 SUM 框架的优越性，并分享了 SUM 框架的实际部署经验。迄今为止，SUM 已在 Meta 的数百种广告排名模型中推出，并每天处理数百亿次用户请求，产生了显著的在线指标增益和基础设施成本节约。
user representationspersonalized advertisingads ranking modelsscaling user modelinguser embeddings
发现论文，激发创造
  • 第四届在线推荐系统和用户建模研讨会论文集 -- ORSUM 2021

    探索在线服务的动态特性，通过增量算法在数据流中进行用户建模和个性化推荐。

    Jan, 2022

  • 利用行为一致性实现通用用户表示

    该研究提出一种基于自监督学习的用户建模网络 SUMN，该网络能够将行为数据编码成通用的用户表示形式，进而实现个性化服务推荐和用户画像预测。实验表明该方法优于现有的无监督表示方法，并且能够与监督方法竞争。

    Dec, 2020

  • EmbSum：利用大型语言模型的摘要能力进行基于内容的推荐

    通过 EmbSum 框架的离线预计算和用户与候选项目之间的交互，利用预训练的编码器 - 解码器模型和 Poly-Attention 层，通过生成用户兴趣摘要从而计算用户和候选项目之间的相关得分，EmbSum 验证了其在两个不同领域的数据集上的有效性，超过了现有方法在准确性和参数数量上的优势，并能够生成用户兴趣摘要，提高了其用于个性化内容推荐的实用性。

    May, 2024

  • 用于广告投放优化的异步学习用户嵌入

    我们提出一个方法，通过使用多模态用户活动的序列基本特征学习模块进行异步学习，可以为每天数十亿用户学习高逼真的用户嵌入。这些异步学习的用户表示嵌入（ALURE）通过图学习转化为用户相似性图，并与用户实时活动相结合，为整个广告发布系统检索与之高度相关的广告候选项。在线下和在线实验中，我们的方法显示出显著的增益。

    Jun, 2024

  • 使用稀疏专家混合模型学习大规模通用用户表示

    本研究提出了一种通用框架，名为 SUPERMOE，用于从多个任务中获得高质量的用户表示，具体方法是通过 MoE 变压器对用户行为序列进行编码，利用任务指标设计了新的损失函数，实验结果表明 OUR 方法在公共数据集和私有真实世界业务场景上取得了最佳性能。

    Jul, 2022

  • 通用用户表示的迁移学习

    我们提出了一个新颖的框架，用于大规模推荐系统中用户的表示，旨在以一种广义的方式有效地表示多样化的用户喜好。我们的方法采用了一种两阶段的方法，结合表示学习和迁移学习。表示学习模型使用自编码器将各种用户特征压缩成表示空间。在第二阶段，特定于任务的下游模型通过迁移学习利用用户表示，而不是单独地整理用户特征。我们进一步改进了这种方法的输入特征，以增加灵活性并实现对用户事件（包括新用户体验）的近实时反应。此外，我们提出了一种新的解决方案，以管理此框架在生产模型中的部署，允许下游模型独立工作。我们通过大规模系统中的严格离线和在线实验验证了我们框架的性能，展示了其在多个评估任务中的显着功效。最后，我们展示了所提出的框架如何显著降低基础设施成本，相比于其他方法。

    Mar, 2024

  • SoMeR：社交媒体的多视角用户表征学习

    综合建模用户行为的 Social Media 用户表示学习框架 SoMeR 通过编码用户帖子流、转换器嵌入个人资料数据，结合链路预测和对比学习目标进行联合训练以捕捉用户相似性，从而解决了现有方法无法综合建模不同模态用户行为的局限性，并通过两个应用程序演示了 SoMeR 的多功能性。

    May, 2024

  • AutoSUM：实体摘要的特征提取和多用户偏好模拟自动化

    本研究提出了一种自动特征提取和多用户偏好模拟的新方法 AutoSUM，并证明在实体概述任务中，AutoSUM 在 F-measure 和 MAP 方面都具有最先进的性能。

    May, 2020

  • 面向个性化文本分类的增量用户嵌入建模

    本研究提出一种增量用户嵌入建模方法，通过使用转换编码器将用户的最近交互历史的嵌入动态集成到累积历史向量中，从而实现个性化用户表示的学习，并成功将其应用于 Reddit 数据集的个性化多类分类任务中，并在评论历史编码和任务建模方面相应地实现 9% 和 30% 的相对提升。

    Feb, 2022

  • 推荐模型的规模定律：朝向通用用户表征

    本研究探讨了通过训练大规模通用用户编码器来学习通用用户表示的可能性，并证明了在用户表示学习领域中存在着类似于规模定律的现象，我们提出的对比学习用户编码器（CLUE）在各个下游任务中均表现出色，且对其他领域和公司具有很强的可转移性，进一步我们还探究了训练数据集大小、模型容量、序列长度、批次大小等因素对模型性能的影响，并讨论了 CLUE 的潜在影响。

    Nov, 2021