我们提出了一个新颖的框架，用于大规模推荐系统中用户的表示，旨在以一种广义的方式有效地表示多样化的用户喜好。我们的方法采用了一种两阶段的方法，结合表示学习和迁移学习。表示学习模型使用自编码器将各种用户特征压缩成表示空间。在第二阶段，特定于任务的下游模型通过迁移学习利用用户表示，而不是单独地整理用户特征。我们进一步改进了这种方法的输入特征，以增加灵活性并实现对用户事件（包括新用户体验）的近实时反应。此外，我们提出了一种新的解决方案，以管理此框架在生产模型中的部署，允许下游模型独立工作。我们通过大规模系统中的严格离线和在线实验验证了我们框架的性能，展示了其在多个评估任务中的显着功效。最后，我们展示了所提出的框架如何显著降低基础设施成本，相比于其他方法。

Mar, 2024

本文提供了一个统一框架来探讨 NLP 中参数高效的迁移学习方法，将多种不同的方法重新构建为预训练模型中特定 hidden states 的修改，定义了一组设计维度以表明不同方法的变化方向，如计算修改的函数和应用修改的位置等。通过涵盖机器翻译、文本摘要、语言理解和文本分类基准的全面实证研究，识别了以前方法中的重要设计选择。此外，我们的统一框架使得设计元素可以在不同方法之间进行转移，从而实现了比以前更高效的 fine-tuning 方法。

Oct, 2021

本文提出了一种名为 UPRec 的方法，通过构建自监督任务来利用用户属性和结构化社交图形，并将用户信息整合到预训练模型中，为用户提供更合适的推荐。

Feb, 2021

提出了一种名为 UniSRec 的序列表示学习方法，利用与物品相关的描述文本来学习跨不同场景或平台的可转移表示，其中包括轻量级物品编码体系结构和多域负数采样的对比预训练任务。通过预训练的模型将有效地转移到新的推荐领域或平台，在真实世界的数据集上进行的广泛实验表明了该方法的有效性。

Jun, 2022

该研究提出了一种有效的迁移学习方法，使用具有长短期记忆体系结构的循环神经网络对个性化语言模型进行训练。通过实验证明，我们的迁移学习方法成功生成了个性化语言模型，并在定量和定性方面表现出更接近个人语言风格的输出，尤其适用于移动设备环境以保护数据隐私。

Jan, 2017

本文针对用户行为模型在面对长尾分布的用户行为数据时表现不佳的问题，提出了一种利用梯度方向信息以及对抗训练进行知识迁移的框架，广泛实验表明该框架明显优于现有基线模型。

Oct, 2020

我们提出了一种个性化 Transformer 模型（PETER）来解决用户和物品 ID 无法与单词在相同的语义空间中表示的问题，通过在目标解释中使用 ID 来预测单词，并赋予 ID 语言意义，从而使其实现个性化。我们的实验结果表明，我们的小型未预训练模型在生成任务上优于微调 BERT，这凸显了我们设计的重要性和实用性。

May, 2021

该论文提出了一种基于多模态信息的多模态预训练和迁移学习框架（MISSRec），用于顺序推荐，以解决现有基于 ID 特征的推荐方法在稀疏 ID 和冷启动问题方面的性能不佳的问题。通过在用户和候选项两方面分别设计 Transformer-based 的编码器 - 解码器模型和动态融合模块，MISSRec 能够实现更鲁棒且可迁移的序列表示，该方法在实验中表现出的效果和灵活性使其成为实际推荐场景的可行解决方案。

Aug, 2023

通过混合模态反馈实现端到端训练的信息转移神经网络，从而实现基于原始特征的推荐系统，并在四种不同的真实世界推荐设置中评估了其传递能力，为实现通用的推荐系统提供了一种有前途的方法。

Jun, 2022

提出了一种名为 Universal Parallel Tuning (UniPT) 的新型内存高效 PETL 策略，通过轻量级的可学习并行网络进行传输过程，减少内存消耗，并在不同架构上在低内存场景下实现更高的性能。

Aug, 2023