自监督学习食谱
本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。
May, 2023
本文针对神经架构型推荐系统在高度稀疏数据上存在的问题，提出了自监督学习作为缓解数据稀疏性的新技术，并介绍了一种基于分类的综述方法，开发了一个 SELFRec 开源库，其中包含多个基准数据集和评估指标，以及实施了一些先进的 SSR 模型进行实证比较。同时讨论了当前研究中的限制和未来研究方向。
Mar, 2022
自我监督学习在无监督异常检测中起到重要作用，对 SSL 策略的选择、超参数的调整、预处理任务和增强函数的设计以及基于密度估计的预训练模型的利用提出了新的发展和挑战。
Aug, 2023
推荐系统在面对信息过载的挑战中发挥着关键作用，通过基于个人用户偏好的个性化推荐提供了解决方案。深度学习技术（如 RNN、GNN 和 Transformer 架构）显著推动了推荐系统的发展，增强其对用户行为和偏好的理解。然而，在现实场景中，监督学习方法由于数据稀疏性而面临挑战，限制了它们有效学习表示的能力。自监督学习技术作为一种解决方案应运而生，利用固有数据结构生成监督信号，不仅依赖于已标记的数据。通过利用未标记数据和提取有意义的表示方法，利用自监督学习的推荐系统可以在面对数据稀疏性时进行准确的预测和推荐。本文对为推荐系统设计的自监督学习框架进行了全面的回顾，包括对超过 170 篇论文的深入分析。我们探索了九种不同的场景，以全面理解不同情境中使用自监督学习增强的推荐系统。对于每个领域，我们详细阐述了不同的自监督学习范式，即对比学习、生成学习和对抗学习，以展示自监督学习如何在各种上下文中增强推荐系统的技术细节。我们在此 https URL 上持续更新相关的开源材料。
Apr, 2024
探索了针对自我监督学习 (SSL) 模型的模型窃取攻击，使用这些攻击可以将受害者模型的表示进行窃取并通过训练获得高精度的下游模型。同时，既有的防御方法对于自我监督学习的特殊性不是有效的保护措施。
May, 2022
在相对有限 / 受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了直接的未来研究方向。
Apr, 2024
本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。
Feb, 2023
本研究探讨了自监督学习中的特洛伊攻击问题，并证明 SSL 受到特洛伊攻击的攻击效果与有监督学习相当。我们提出并评估了 CTRL，这是一种极其简单的自监督特洛伊攻击。结果证明，SSL 开启表示不变性有助于提高对抗强度，但同时这也使其对特洛伊攻击更加脆弱。
Oct, 2022