本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023

本文综述了自监督学习在音频处理和语音处理领域中的应用，包括方法、实验和基准数据，并讨论了未来发展方向和存在的问题。

Mar, 2022

我们的研究是第一个准确分析非线性自监督学习模型学习结果的论文，通过模拟实验我们证明了非线性自监督学习模型可以同时捕捉标签相关特征和隐藏特征。

Jan, 2024

本文探讨了流式自监督预训练在序列学习下的效果，使用对 ImageNet 和 DomainNet 的四个类别的数据进行预训练，表明流式自监督预训练是联合预训练的有效替代方案，并解决了序列监督学习中常见的灾难性遗忘问题，实现了在实践中更广泛的应用场景。

Apr, 2021

本研究以自监督学习为切入点，研究了在无标签数据的去中心化学习中，一系列对比学习算法的有效性。在实验结果中，该方法对去中心化数据集的异质性具有鲁棒性，并学习到了目标分类、检测和分割任务的有用表示，同时可以显著降低通信和参与数据源的比例。我们的研究为接受无标签数据的去中心化学习提供了积极的证据，并希望能够提供新的见解，证明和解释分散式自监督学习的有效性。

Oct, 2022

推荐系统在面对信息过载的挑战中发挥着关键作用，通过基于个人用户偏好的个性化推荐提供了解决方案。深度学习技术（如 RNN、GNN 和 Transformer 架构）显著推动了推荐系统的发展，增强其对用户行为和偏好的理解。然而，在现实场景中，监督学习方法由于数据稀疏性而面临挑战，限制了它们有效学习表示的能力。自监督学习技术作为一种解决方案应运而生，利用固有数据结构生成监督信号，不仅依赖于已标记的数据。通过利用未标记数据和提取有意义的表示方法，利用自监督学习的推荐系统可以在面对数据稀疏性时进行准确的预测和推荐。本文对为推荐系统设计的自监督学习框架进行了全面的回顾，包括对超过 170 篇论文的深入分析。我们探索了九种不同的场景，以全面理解不同情境中使用自监督学习增强的推荐系统。对于每个领域，我们详细阐述了不同的自监督学习范式，即对比学习、生成学习和对抗学习，以展示自监督学习如何在各种上下文中增强推荐系统的技术细节。我们在此 https URL 上持续更新相关的开源材料。

Apr, 2024

本研究提出了一种名为 CURL 的方法，用于解决无监督的连续学习问题，通过学习动态的任务表示，以应对任务标识的缺乏，探索了任务之间的突然变化、平滑过渡和数据乱序等不同情况，并在 MNIST 和 Omniglot 数据集上证明了其强大性能。

Oct, 2019

研究了半监督连续学习 (SSCL) 模型，使用伪标记、一致性正则化、知识蒸馏和外域检测策略，能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。

Jan, 2021

在连续学习的场景中，无监督模型的效果会大幅降低。本文提出了一种将自监督损失函数转换为知识蒸馏机制的方法，并通过加入预测器网络实现 Continual self-supervised visual representation Learning，在不需要大量超参数调整的情况下显著提高了视觉表示的学习质量。

Dec, 2021