消除任何人的落后：在线自我监督自我蒸馏用于顺序推荐
提出了一种用于顺序推荐的对比学习多任务模型 CL4SRec，在传统的下一个项目预测任务的基础上，从原始用户行为序列中提取更有意义的用户模式，并进一步有效地编码用户表示，通过构建自我监督信号和数据增强等手段，来解决数据稀疏性和参数优化问题，并在四个公共数据集上实现了业界领先的性能。
Oct, 2020
本文提出了一种基于单阶段在线知识蒸馏的自我监督学习法 Distill-on-the-Go (DoGo)，采用深度互联策略，通过对齐两个模型的相似度得分的 softmax 概率来提供更好的表征质量，实验结果表明，该方法在存在噪声和有限标签以及区分数据方面具有显著性能提升和泛化能力
Apr, 2021
本文中提出了一种自我监督强化学习算法来弥补监督式推荐算法的不足，为仍处于离线状态的推荐者提供强大的梯度信号支持，其中包括两个输出层；一个用于自我监督，另一个用于强化学习，从而实现顾虑到长期用户参与度以及多种用户 - 项目交互等因素的推荐任务。
Jun, 2020
提出了一种基于神经网络架构和自监督学习的序列推荐模型 S^3-Rec，通过最大化互信息的原理学习属性、项目、子序列和序列之间的相关性，从而充分利用内在数据关联提高模型表示能力，经实验证明，在数据稀疏的条件下，该方法优于现有最先进的方法，且可以推广到其他推荐模型。
Aug, 2020
计算机视觉领域的自监督学习是从无标签数据中提取强大特征的方法，模型通过自动从数据本身中推导标签而无需人工注释。本文全面回顾了计算机视觉领域内的自监督学习的判别性方法，包括对比、自蒸馏、知识蒸馏、特征去相关化和聚类技术，并研究这些方法如何利用大量的无标签数据。最后，我们对标准的 ImageNet 分类基准上的自监督学习方法进行了比较。
May, 2024
该论文提出了一种两阶段的学习方法，通过最大化特征嵌入的熵来创造一个最佳输出流形，并通过自我监督的双胞胎约束流形，最小化特征嵌入的熵来提高深度神经网络在少样本学习任务中的表示能力。
Jun, 2020
在连续学习的场景中，无监督模型的效果会大幅降低。本文提出了一种将自监督损失函数转换为知识蒸馏机制的方法，并通过加入预测器网络实现 Continual self-supervised visual representation Learning，在不需要大量超参数调整的情况下显著提高了视觉表示的学习质量。
Dec, 2021
本文研究对于顺序推荐问题，应用对比自监督学习来缓解数据稀疏和噪声等问题，并提出两种信息增强算子构建高质量视图进行对比学习，实验表明该方法可以提升模型性能和鲁棒性。
Aug, 2021
本文提出了一种用自监督模仿的方法来提高序列推荐一致性的模型 ——SSI，该模型通过三个自监督预训练任务来提取一致性知识，实现了全局会话一致性，并通过集成的模仿学习框架成功地将一致性知识内化和转移给学生模型。实验证明，SSI 可以有效地胜任实际应用数据集上的顺序推荐任务，并且比现有的相关方法表现更好。
Jun, 2021