本研究提出一种增量用户嵌入建模方法，通过使用转换编码器将用户的最近交互历史的嵌入动态集成到累积历史向量中，从而实现个性化用户表示的学习，并成功将其应用于 Reddit 数据集的个性化多类分类任务中，并在评论历史编码和任务建模方面相应地实现 9% 和 30% 的相对提升。

Feb, 2022

该研究回顾了最近在社交媒体用户的表征学习领域的进展，并提供了从异构用户数据（例如，将社交媒体文本与图像相结合来学习统一用户表征）中学习统一用户嵌入的典型方法，该技术对于创建高性能的基于社交媒体的人类特征和行为模型至关重要。

Jun, 2019

我们提出了一个新颖的框架，用于大规模推荐系统中用户的表示，旨在以一种广义的方式有效地表示多样化的用户喜好。我们的方法采用了一种两阶段的方法，结合表示学习和迁移学习。表示学习模型使用自编码器将各种用户特征压缩成表示空间。在第二阶段，特定于任务的下游模型通过迁移学习利用用户表示，而不是单独地整理用户特征。我们进一步改进了这种方法的输入特征，以增加灵活性并实现对用户事件（包括新用户体验）的近实时反应。此外，我们提出了一种新的解决方案，以管理此框架在生产模型中的部署，允许下游模型独立工作。我们通过大规模系统中的严格离线和在线实验验证了我们框架的性能，展示了其在多个评估任务中的显着功效。最后，我们展示了所提出的框架如何显著降低基础设施成本，相比于其他方法。

Mar, 2024

本文介绍了一种名为 FURL 的方法，它使用现有的神经个性化技术，通过学习用户表示（嵌入）来改善神经网络模型预测准确性。FURL 将模型参数分为联邦和私有参数，其中私有参数（如私有用户嵌入）在本地训练，但不会被传输或平均在服务器上。该参数拆分对大多数模型个性化方法的训练没有影响。在两个数据集上评估 FURL，表明模型质量有了显着提高，并且用户嵌入在 FL 和集中式设置中具有非常相似的结构，表明 FURL 可以通过共享参数进行协作学习，同时保护用户隐私。

Sep, 2019

本研究提出了一种通用框架，名为 SUPERMOE，用于从多个任务中获得高质量的用户表示，具体方法是通过 MoE 变压器对用户行为序列进行编码，利用任务指标设计了新的损失函数，实验结果表明 OUR 方法在公共数据集和私有真实世界业务场景上取得了最佳性能。

Jul, 2022

本文提出了一种基于深度神经网络的列表式建模结构，用于对匿名用户的每个会话生成推荐结果，并设计了会话嵌入方法来预先训练会话表示，证明了该方法的有效性。

Jul, 2017

通过将用户历史数据嵌入模型中，并用其作为软提示，我们展示了一种在处理较长历史文本时具有优势的方法，可用于提高推荐系统的效果。

Jan, 2024

利用用户嵌入来上下文化大型语言模型，实现显著性能提升。

Feb, 2024

用户表示对个性化广告至关重要。为了解决训练吞吐量、服务延迟和内存的严格限制，我们提出了一个名为 Scaling User Modeling (SUM) 的框架，在 Meta 的广告排名系统中广泛部署，旨在实现数百种广告模型之间高效可扩展的在线用户表示共享。SUM 利用几个指定的上游用户模型，通过先进的建模技术从大量的用户特征中合成用户嵌入，然后将这些嵌入作为输入传递给下游的在线广告排名模型，促进了高效的表示共享。我们通过全面的实验验证了 SUM 框架的优越性，并分享了 SUM 框架的实际部署经验。迄今为止，SUM 已在 Meta 的数百种广告排名模型中推出，并每天处理数百亿次用户请求，产生了显著的在线指标增益和基础设施成本节约。

Nov, 2023

本文提出了一种使用超伸缩流形学习用户与广告特征表示的框架，以实现精准广告投放，从而提高用户满意度和广告转化率。实验证明该方法在公共基准数据集和 Messenger 系统中具有优异的性能表现。

Jul, 2020