我们提出了一种名为 Unified Pretraining for Recommendation via Task Hypergraphs 的新型多任务预训练框架，通过任务超图将预训练任务广泛应用于推荐系统中，设计了一种新颖的过渡关注层来区分性地学习每个预训练任务和推荐之间的相关性，并通过实验结果验证了 UPRTH 的优越性，并进行了进一步的详细研究来证明该框架的有效性。

Oct, 2023

通过训练泛域用户 - 物品交互数据，我们提出了一个适应性泛型推荐系统，该系统能够捕捉通用交互模式，并能在不同领域中快速适应以提高零样本和少样本学习性能。然而，不同领域的推荐数据存在域内和跨域偏差，我们通过引入因果去偏视角和预测模型 PreRec 有效克服了这一挑战，实证结果表明在跨市场和跨平台场景下，该模型能显著提升推荐性能。

Oct, 2023

提出了一种名为 UniSRec 的序列表示学习方法，利用与物品相关的描述文本来学习跨不同场景或平台的可转移表示，其中包括轻量级物品编码体系结构和多域负数采样的对比预训练任务。通过预训练的模型将有效地转移到新的推荐领域或平台，在真实世界的数据集上进行的广泛实验表明了该方法的有效性。

Jun, 2022

本文提出了一种参数高效的迁移学习框架 PeterRec，通过注入一系列重新学习的小型神经网络，PeterRec 可以在多个领域实现高效的迁移学习，从而有效地学习单个用户表示，并在多个领域的任务中取得了可比或更好的性能。

Jan, 2020

该论文提出了一种基于多模态信息的多模态预训练和迁移学习框架（MISSRec），用于顺序推荐，以解决现有基于 ID 特征的推荐方法在稀疏 ID 和冷启动问题方面的性能不佳的问题。通过在用户和候选项两方面分别设计 Transformer-based 的编码器 - 解码器模型和动态融合模块，MISSRec 能够实现更鲁棒且可迁移的序列表示，该方法在实验中表现出的效果和灵活性使其成为实际推荐场景的可行解决方案。

Aug, 2023

UniRec 是一个新颖的双向增强顺序推荐方法，利用序列一致性和物品频率来提高性能，特别是在表示不均匀序列和低频物品方面；与其他先进模型相比，在四个数据集上表现显著优越。

Jun, 2024

我们提出了一个新颖的框架，用于大规模推荐系统中用户的表示，旨在以一种广义的方式有效地表示多样化的用户喜好。我们的方法采用了一种两阶段的方法，结合表示学习和迁移学习。表示学习模型使用自编码器将各种用户特征压缩成表示空间。在第二阶段，特定于任务的下游模型通过迁移学习利用用户表示，而不是单独地整理用户特征。我们进一步改进了这种方法的输入特征，以增加灵活性并实现对用户事件（包括新用户体验）的近实时反应。此外，我们提出了一种新的解决方案，以管理此框架在生产模型中的部署，允许下游模型独立工作。我们通过大规模系统中的严格离线和在线实验验证了我们框架的性能，展示了其在多个评估任务中的显着功效。最后，我们展示了所提出的框架如何显著降低基础设施成本，相比于其他方法。

Mar, 2024

我们提出了一种名为 SGP 的推荐模型，它在预训练阶段使用图神经网络（GNN）对用户的社交关系和互动数据进行编码，并在后续的微调阶段采用高斯混合模型（GMM）来对这些预训练嵌入进行分解，从而使冷启动用户受益于这些预先建立的社交关系。我们在三个公开数据集上进行了广泛的实验，结果表明，与 16 个竞争基线相比，我们的 SGP 模型在 NDCG@10 方面的性能提升高达 7.7%。此外，我们证明了 SGP 能够有效缓解冷启动问题，特别是当用户通过朋友的推荐新注册系统时。

Nov, 2023

本文提出了一种名为 UniTRec 的框架，它使用预训练语言模型来增强基于文本的推荐系统，其中该框架使用 Transformer 编码器和解码器来处理用户历史和候选文本，利用语言困惑度作为对比信号进行匹配，展现了 SOTA 的表现。

May, 2023

本文提出了一种基于自监督学习的用户模型预训练方法，包括屏蔽行为预测和 $K$ 步预测两个任务，通过对大规模未标注用户行为数据进行预训练，并在下游任务中微调，获得了更好的效果。

Oct, 2020