本研究旨在通过端到端的学习，从原始用户行为中进行个性化推荐引擎的革新，通过一种新的密集全行动损失，编码用户的长期兴趣来优化用户嵌入，通过直接学习实时操作序列来捕获用户的短期意图。通过离线和在线实验验证了新模型架构的性能，并解决了在生产中使用混合 CPU/GPU 设置服务这种复杂模型的挑战。

Sep, 2022

本文提出采用多行为互动模式进行时间变化的用户偏好建模，通过提出的 Temporal Graph Transformer 模型，能够更好地学习不同行为间的相关性，有效解决单一行为矩阵稀疏和数据不足等问题。

Jun, 2022

介绍了一种新的基于序列模型的用户表示方式 PinnerFormer，使用全动作密集损失模拟未来长期行为，能够显著提高用户保留率和参与度，已在 2021 年秋季投入实际生产。

May, 2022

该研究使用基于 Transformer 模型的深度学习方法，通过捕捉用户行为序列中的顺序信号来改进推荐系统，实验结果表明相较于基线算法，该模型在淘宝上线后获得显著的点击率提升。

May, 2019

HSTU-based Generative Recommenders, with 1.5 trillion parameters, outperform baselines by up to 65.8% in NDCG, improve metrics by 12.4% in online A/B tests, and scale empirically as a power-law of training compute, reducing carbon footprint and paving the way for foundational models in recommendations.

Feb, 2024

设计了一种多行为超图增强 Transformer 框架（MBHT），用于捕获基于多个交互类型的短期和长期行为依赖关系，该框架通过低秩自注意力和超图神经网络结构实现。

Jul, 2022

该论文提出了一种新方法，通过梯度聚合技术，学习所有用户的共同知识并在此基础上，为头部用户和尾部用户分别提供定制化的预测，从而显著提高了尾部用户的推荐效果。

Aug, 2022

提出了一种基于时间顺序的用户行为建模方法，通过融合顺序模式和时间合作信号，并采用 TCT 层和连续时间二分图，设计了一种新的框架 (Temporal Graph Sequential Recommender)，该模型有效提高了推荐质量。

Aug, 2021

本文提出了一种名为 ATRank 的基于注意力机制的用户行为建模框架，主要用于推荐系统，通过将异构用户行为投影到多个潜在语义空间中，使用自注意力在行为之间进行影响，并通过 vanilla attention 提供给下游应用程序使用，实验证明 ATRank 具有更好的性能和更快的训练速度，进一步探索 ATRank 使用一种统一模型同时预测不同类型的用户行为，显示出与高度优化的单独模型相当的性能。

Nov, 2017

本文介绍了 Action Transformer，一种简单的完全自注意力架构，在人体动作识别中表现出色，并利用 2D 姿势表示来提供低延迟解决方案，此外我们提供了 MPOSE2021，这是一个新的大规模数据集，用于实时、短时 HAR 的训练和评估基准建立。

Jul, 2021