电子商务推荐系统的 One4all 用户表示
我们提出了一个新颖的框架，用于大规模推荐系统中用户的表示，旨在以一种广义的方式有效地表示多样化的用户喜好。我们的方法采用了一种两阶段的方法，结合表示学习和迁移学习。表示学习模型使用自编码器将各种用户特征压缩成表示空间。在第二阶段，特定于任务的下游模型通过迁移学习利用用户表示，而不是单独地整理用户特征。我们进一步改进了这种方法的输入特征，以增加灵活性并实现对用户事件（包括新用户体验）的近实时反应。此外，我们提出了一种新的解决方案，以管理此框架在生产模型中的部署，允许下游模型独立工作。我们通过大规模系统中的严格离线和在线实验验证了我们框架的性能，展示了其在多个评估任务中的显着功效。最后，我们展示了所提出的框架如何显著降低基础设施成本，相比于其他方法。
Mar, 2024
本研究提出了一种适用于电子商务用户数据的 BERT 模型的自监督预训练表示学习方法，将用户行为数据看作是句子中的单词，并采用统一结构同时学习长期、短期和用户属性。实验证明，该方法在三个不同的实际任务中都能带来显著的改进，尤其是与任务特定建模和多任务表示学习相比。
Feb, 2022
该论文提出了一种名为 Deep User Perception Network（DUPN）的方法，通过采用 LSTM 和注意力机制来建模用户行为序列，学习不同任务通用的用户表示，以达到更加有效的个性化推荐，离线和在线实验结果表明 DUPN 在五个不同的任务上都表现出 better results，Taobao 上的大规模操作任务也得到了部署。
May, 2018
本研究探讨了通过训练大规模通用用户编码器来学习通用用户表示的可能性，并证明了在用户表示学习领域中存在着类似于规模定律的现象，我们提出的对比学习用户编码器（CLUE）在各个下游任务中均表现出色，且对其他领域和公司具有很强的可转移性，进一步我们还探究了训练数据集大小、模型容量、序列长度、批次大小等因素对模型性能的影响，并讨论了 CLUE 的潜在影响。
Nov, 2021
本研究提出了一种实例为中心的多模态预训练范式 ECLIP，通过引入可学习实例查询的解码器架构和两个预处理任务，从 1 亿个电子商务相关数据中预训练出语义丰富、稳健的模型，进而在广泛的下游任务中超越现有方法，证明其在现实世界中的广泛可转移性。
Apr, 2023
提出了一种嵌入式学习框架，用于集成多种 ID（如用户 ID、项目 ID、产品 ID 等），以便在不同情况下进行相似性度量、跨域转移和不同任务之间的转移，以解决经典编码方法不足的问题。
Dec, 2017
该研究回顾了最近在社交媒体用户的表征学习领域的进展，并提供了从异构用户数据（例如，将社交媒体文本与图像相结合来学习统一用户表征）中学习统一用户嵌入的典型方法，该技术对于创建高性能的基于社交媒体的人类特征和行为模型至关重要。
Jun, 2019
本文旨在研究用结构性表示学习的方法，具体分为解缠结表示与面向对象表示两个方向，以实现从非结构化数据中提取潜在结构信息的目的，同时还探讨了该方法对预训练表示和下游任务泛化能力的提升以及其对于大规模数据的高效表征学习的应用。
Apr, 2023
提出了一种 GUIM 模型，用于在混合表示的基础上构建通用的用户和产品项目嵌入，并利用对比学习技术 InfoNCE 避免运算量过大，提高表示的质量。同时，也提出了一组代表性的下游任务来评估该模型学习到的用户和 / 或项目嵌入的质量。
Jul, 2022