该研究提出一种基于自监督学习的用户建模网络 SUMN，该网络能够将行为数据编码成通用的用户表示形式，进而实现个性化服务推荐和用户画像预测。实验表明该方法优于现有的无监督表示方法，并且能够与监督方法竞争。

Dec, 2020

该论文提出了一种名为 Deep User Perception Network（DUPN）的方法，通过采用 LSTM 和注意力机制来建模用户行为序列，学习不同任务通用的用户表示，以达到更加有效的个性化推荐，离线和在线实验结果表明 DUPN 在五个不同的任务上都表现出 better results，Taobao 上的大规模操作任务也得到了部署。

May, 2018

开发一种用于多模态大型语言模型的混合专家 (Uni-MoE) 架构，具有一致的多模态表示，通过稀疏的模态级数据并行和专家级模型并行实现高效的训练和推理，进一步减少性能偏差，并提高多专家的协作和泛化能力。

May, 2024

本文提出了 SE-MoE 模型，通过引入 Elastic MoE training、2D prefetch 和 Fusion communication 等技术，实现 Mixture-of-Experts 模型在分布式、异构计算系统上的高效训练和推理，即使在非均衡任务中也可以显著提升吞吐量同时减少内存开销。作者通过实验证明，与 DeepSpeed 相比，SE-MoE 在训练和推断中的吞吐量分别提高了 33％和 13％。

May, 2022

我们提出一个方法，通过使用多模态用户活动的序列基本特征学习模块进行异步学习，可以为每天数十亿用户学习高逼真的用户嵌入。这些异步学习的用户表示嵌入（ALURE）通过图学习转化为用户相似性图，并与用户实时活动相结合，为整个广告发布系统检索与之高度相关的广告候选项。在线下和在线实验中，我们的方法显示出显著的增益。

Jun, 2024

用户嵌入在用户参与度预测和个性化服务中起着至关重要的作用。我们提出了 User Stateful Embedding (USE)，通过存储先前的模型状态并在未来重新访问，生成和反映用户的不断演变的行为，并通过与同一用户预测相结合的对比学习目标进一步提高嵌入的独特性和代表性。实验证明 USE 在动态用户建模中将历史和最近的用户行为序列整合到用户嵌入中具有卓越的性能。

Mar, 2024

我们的研究引入了 SEER-MoE，这是一个新颖的两阶段框架，用于减少预训练 MoE 模型的内存占用和计算需求。第一阶段通过使用重要数据计数指导来修剪专家的总数，而第二阶段采用基于正则化的微调策略来恢复准确性损失并减少推断过程中激活的专家数量。我们的实证研究证明了我们的方法的有效性，使得经过优化的稀疏 MoEs 模型在推断效率方面具有最小的准确性妥协。

Apr, 2024

该研究回顾了最近在社交媒体用户的表征学习领域的进展，并提供了从异构用户数据（例如，将社交媒体文本与图像相结合来学习统一用户表征）中学习统一用户嵌入的典型方法，该技术对于创建高性能的基于社交媒体的人类特征和行为模型至关重要。

Jun, 2019

本研究提出一种增量用户嵌入建模方法，通过使用转换编码器将用户的最近交互历史的嵌入动态集成到累积历史向量中，从而实现个性化用户表示的学习，并成功将其应用于 Reddit 数据集的个性化多类分类任务中，并在评论历史编码和任务建模方面相应地实现 9% 和 30% 的相对提升。

Feb, 2022

本研究提出了一种适用于电子商务用户数据的 BERT 模型的自监督预训练表示学习方法，将用户行为数据看作是句子中的单词，并采用统一结构同时学习长期、短期和用户属性。实验证明，该方法在三个不同的实际任务中都能带来显著的改进，尤其是与任务特定建模和多任务表示学习相比。

Feb, 2022