该研究提出一种基于自监督学习的用户建模网络 SUMN，该网络能够将行为数据编码成通用的用户表示形式，进而实现个性化服务推荐和用户画像预测。实验表明该方法优于现有的无监督表示方法，并且能够与监督方法竞争。

Dec, 2020

本文提出了一种名为 TERACON 的新型连续用户表示学习方法，它的学习能力随着学习任务的增加而不受限制，同时捕捉任务之间的关系，通过任务嵌入生成任务特定的软掩码，利用伪标签策略和知识保留模块成功缓解了连续学习的问题。

Jun, 2023

我们提出了一个新颖的框架，用于大规模推荐系统中用户的表示，旨在以一种广义的方式有效地表示多样化的用户喜好。我们的方法采用了一种两阶段的方法，结合表示学习和迁移学习。表示学习模型使用自编码器将各种用户特征压缩成表示空间。在第二阶段，特定于任务的下游模型通过迁移学习利用用户表示，而不是单独地整理用户特征。我们进一步改进了这种方法的输入特征，以增加灵活性并实现对用户事件（包括新用户体验）的近实时反应。此外，我们提出了一种新的解决方案，以管理此框架在生产模型中的部署，允许下游模型独立工作。我们通过大规模系统中的严格离线和在线实验验证了我们框架的性能，展示了其在多个评估任务中的显着功效。最后，我们展示了所提出的框架如何显著降低基础设施成本，相比于其他方法。

Mar, 2024

本研究提出了一种通用框架，名为 SUPERMOE，用于从多个任务中获得高质量的用户表示，具体方法是通过 MoE 变压器对用户行为序列进行编码，利用任务指标设计了新的损失函数，实验结果表明 OUR 方法在公共数据集和私有真实世界业务场景上取得了最佳性能。

Jul, 2022

本论文中，我们提出了第一个可持续不断地学习用户表示的模型，并通过在深度用户表示模型中迭代删除旧任务的不太重要的权重的方式来解决灾难性遗忘问题。在两个现实世界的数据集上的九项任务上进行的广泛实验表明，Conure 大大超过了标准模型，并且在对每个任务单独培训或通过合并所有任务数据同时进行训练的模型方面表现出竞争力或有时更好的表现。

Sep, 2020

本研究通过构建模型 ShopperBERT 对九个预训练任务训练得出的预训练嵌入进行广泛的下游任务如用户画像、定向和推荐等方面的有效应用，并与从零开始的学习策略进行了比较，结果表明前者的优势明显，尤其针对冷启动问题。

May, 2021

本研究提出了一种适用于电子商务用户数据的 BERT 模型的自监督预训练表示学习方法，将用户行为数据看作是句子中的单词，并采用统一结构同时学习长期、短期和用户属性。实验证明，该方法在三个不同的实际任务中都能带来显著的改进，尤其是与任务特定建模和多任务表示学习相比。

Feb, 2022

该论文提出了一种基于内核的神经网络，即深度统一表示 (DURation)，用于异构推荐，通过联合建模异构项目的统一表示来解决数据稀疏性问题，并在现实世界数据集上进行了广泛的实验，表明该模型比现有的最先进模型具有显着的提升。

Jan, 2022

本研究提出一种增量用户嵌入建模方法，通过使用转换编码器将用户的最近交互历史的嵌入动态集成到累积历史向量中，从而实现个性化用户表示的学习，并成功将其应用于 Reddit 数据集的个性化多类分类任务中，并在评论历史编码和任务建模方面相应地实现 9% 和 30% 的相对提升。

Feb, 2022

旅行业的数字化加速推动了对旅行者行为的分析和理解，然而，由于旅行者与旅行提供商的互动频率相对较低，旅行者数据经常表现出高数据稀疏性。为了应对这些挑战，我们提出了基于相似性的多视图信息融合方法，从 URL 中学习更好的用户表示，将 URL 视为多视图数据。实验结果表明，所提出的多视图用户表示学习方法可以充分利用不同视图中的互补信息，突出 URL 中的关键信息，并在用户匹配任务中表现出显著优势。

Dec, 2023