一个人，一个模型，一个世界：学习连续的用户表示而不遗忘

Sep, 2020

一个人，一个模型，一个世界：学习连续的用户表示而不遗忘

One Person, One Model, One World: Learning Continual User Representation without Forgetting

Fajie Yuan, Guoxiao Zhang, Alexandros Karatzoglou, Joemon Jose, Beibei Kong...

TL;DR本论文中，我们提出了第一个可持续不断地学习用户表示的模型，并通过在深度用户表示模型中迭代删除旧任务的不太重要的权重的方式来解决灾难性遗忘问题。在两个现实世界的数据集上的九项任务上进行的广泛实验表明，Conure 大大超过了标准模型，并且在对每个任务单独培训或通过合并所有任务数据同时进行训练的模型方面表现出竞争力或有时更好的表现。

Abstract

Learning user representations is a vital technique toward effective user modeling and personalized recommender systems. Existing approaches often derive an individual set of model parameters for each task by trai

user representations personalized recommender systems continual learning catastrophic forgetting neural network models

发现论文，激发创造

任务关系感知的连续用户表示学习

本文提出了一种名为 TERACON 的新型连续用户表示学习方法，它的学习能力随着学习任务的增加而不受限制，同时捕捉任务之间的关系，通过任务嵌入生成任务特定的软掩码，利用伪标签策略和知识保留模块成功缓解了连续学习的问题。

Jun, 2023

不断学习的表示中的知识积累与特征遗忘问题

本文研究神经网络在不断学习时如何学习和忘记其代表特征并引入了任务排除比较等新的分析技术。研究发现大部分特定任务的特征很快被遗忘，但回放和代表特征学习等方法可影响代表特征及其品质与学习绩效的紧密相关性。

Apr, 2023

前瞻性选择性可塑性实现视觉任务的持续学习

通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

Nov, 2023

从多种电商任务中学习通用用户表示，深入了解你的用户

该论文提出了一种名为 Deep User Perception Network（DUPN）的方法，通过采用 LSTM 和注意力机制来建模用户行为序列，学习不同任务通用的用户表示，以达到更加有效的个性化推荐，离线和在线实验结果表明 DUPN 在五个不同的任务上都表现出 better results，Taobao 上的大规模操作任务也得到了部署。

May, 2018

监督和无监督连续学习中的表示遗忘探究

通过对最优线性分类器表现的差异考虑 “表示忘却” 的概念，本研究重新审视了一些标准的连续学习基准，并观察到在没有任何明确控制忘却的情况下，模型表示通常会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当，尤其是在更长的任务序列中。我们还展示了表示忘却如何推动我们对于连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，我们提出一个简单但是竞争力强的方法是，在构建旧样本的原型时，通过标准的有监督对比学习来不断地学习表示。

Mar, 2022

生物特征识别的持续表征学习

本研究旨在提出一种新的持续表示学习方法，使用领域选择和一致性松弛策略，对大量身份执行知识蒸馏，以提高持续学习模型的可扩展性和灵活性，并在生物识别中提供用于多步骤的大规模基准测试。研究表明，比起其他竞争者，本方法获得了更好的结果。

Jun, 2020

一项继续学习调查：在分类任务中应对遗忘

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡，并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019

对抗性持续学习

本研究旨在使用混合方法来解决连续学习中遗忘的问题，该方法结合了体系结构生长来防止任务特定技能的遗忘，并采用经验回放方法来保存共享技能。研究结果表明，我们的混合方法在单个数据集和多个数据集的类增量学习中都表现优异。

Mar, 2020

重审持续表示学习的监督

通过研究发现，在连续学习中，通过在监督模式和自监督模式下使用多层感知器，监督模式能够在连续表示学习方面优于自监督模式。

Nov, 2023

利用行为一致性实现通用用户表示

该研究提出一种基于自监督学习的用户建模网络 SUMN，该网络能够将行为数据编码成通用的用户表示形式，进而实现个性化服务推荐和用户画像预测。实验表明该方法优于现有的无监督表示方法，并且能够与监督方法竞争。

Dec, 2020