该论文提出了一种名为 Deep User Perception Network（DUPN）的方法，通过采用 LSTM 和注意力机制来建模用户行为序列，学习不同任务通用的用户表示，以达到更加有效的个性化推荐，离线和在线实验结果表明 DUPN 在五个不同的任务上都表现出 better results，Taobao 上的大规模操作任务也得到了部署。

May, 2018

用户表示对个性化广告至关重要。为了解决训练吞吐量、服务延迟和内存的严格限制，我们提出了一个名为 Scaling User Modeling (SUM) 的框架，在 Meta 的广告排名系统中广泛部署，旨在实现数百种广告模型之间高效可扩展的在线用户表示共享。SUM 利用几个指定的上游用户模型，通过先进的建模技术从大量的用户特征中合成用户嵌入，然后将这些嵌入作为输入传递给下游的在线广告排名模型，促进了高效的表示共享。我们通过全面的实验验证了 SUM 框架的优越性，并分享了 SUM 框架的实际部署经验。迄今为止，SUM 已在 Meta 的数百种广告排名模型中推出，并每天处理数百亿次用户请求，产生了显著的在线指标增益和基础设施成本节约。

Nov, 2023

本研究提出了一种通用框架，名为 SUPERMOE，用于从多个任务中获得高质量的用户表示，具体方法是通过 MoE 变压器对用户行为序列进行编码，利用任务指标设计了新的损失函数，实验结果表明 OUR 方法在公共数据集和私有真实世界业务场景上取得了最佳性能。

Jul, 2022

本文提出了一种名为 TERACON 的新型连续用户表示学习方法，它的学习能力随着学习任务的增加而不受限制，同时捕捉任务之间的关系，通过任务嵌入生成任务特定的软掩码，利用伪标签策略和知识保留模块成功缓解了连续学习的问题。

Jun, 2023

本研究提出了一种基于无监督预训练方法的用户行为建模技术用于新闻推荐系统，包括用户行为掩码和用户行为生成两个任务，用于提高用户表示向量，在真实世界新闻基准测试中获得了显著的性能提高。

Apr, 2023

本文提出了一种基于自监督学习的用户模型预训练方法，包括屏蔽行为预测和 $K$ 步预测两个任务，通过对大规模未标注用户行为数据进行预训练，并在下游任务中微调，获得了更好的效果。

Oct, 2020

本研究提出了一种适用于电子商务用户数据的 BERT 模型的自监督预训练表示学习方法，将用户行为数据看作是句子中的单词，并采用统一结构同时学习长期、短期和用户属性。实验证明，该方法在三个不同的实际任务中都能带来显著的改进，尤其是与任务特定建模和多任务表示学习相比。

Feb, 2022

我们提出了一个新颖的框架，用于大规模推荐系统中用户的表示，旨在以一种广义的方式有效地表示多样化的用户喜好。我们的方法采用了一种两阶段的方法，结合表示学习和迁移学习。表示学习模型使用自编码器将各种用户特征压缩成表示空间。在第二阶段，特定于任务的下游模型通过迁移学习利用用户表示，而不是单独地整理用户特征。我们进一步改进了这种方法的输入特征，以增加灵活性并实现对用户事件（包括新用户体验）的近实时反应。此外，我们提出了一种新的解决方案，以管理此框架在生产模型中的部署，允许下游模型独立工作。我们通过大规模系统中的严格离线和在线实验验证了我们框架的性能，展示了其在多个评估任务中的显着功效。最后，我们展示了所提出的框架如何显著降低基础设施成本，相比于其他方法。

Mar, 2024

本论文中，我们提出了第一个可持续不断地学习用户表示的模型，并通过在深度用户表示模型中迭代删除旧任务的不太重要的权重的方式来解决灾难性遗忘问题。在两个现实世界的数据集上的九项任务上进行的广泛实验表明，Conure 大大超过了标准模型，并且在对每个任务单独培训或通过合并所有任务数据同时进行训练的模型方面表现出竞争力或有时更好的表现。

Sep, 2020

本文提出两种方法，并基于多元化训练问题提出了一种统一框架来改善普适性，同时提出了新的评估普适性的指标，并运用转移学习方案，在 10 个问题上验证了其效果与价值。

Dec, 2017