音频自监督学习：综述
本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。
May, 2023
本文回顾了目前人类低级听觉处理的现有模型，并利用自学语言模型技术创建了新的人类听觉系统的先进模型。结果表明，与声学基线、音素特征和监督模型相比，来自自监督模型中间层的表示可以显著提高对听觉皮层的 fMRI 记录的预测性能，并且不同的听觉处理区域对信息的不同语言层次表现出偏好。
May, 2022
自监督学习在音频领域具有重要潜力，本研究证明自监督学习可以在无需注释的情况下从音频记录中获取有意义的鸟类声音表示，并展示了这些学习表示能够在少样本学习情景中泛化到新的鸟类物种。另外，使用预训练的音频神经网络，在自监督学习中选择高鸟类激活窗口显著提高了学习表示的质量。
Dec, 2023
本文介绍了自监督学习技术在自动驾驶感知中的应用，其能够替代传统手动标注的方式，为自动驾驶中的不同任务提供了有效的替代方法，并提出了未来自监督学习系统设计中的重要挑战。
Oct, 2019
本文讨论了如何利用未经筛选的音频数据进行自监督学习，在数据预处理到部署流式混合语音识别模型的整个过程中研究了多种不同的预训练策略，比较了近期开发的对比损失，并通过实验结果表明，利用领域内未筛选数据进行自监督学习的表现比领域外其他预训练策略要好。
May, 2022
推荐系统在面对信息过载的挑战中发挥着关键作用，通过基于个人用户偏好的个性化推荐提供了解决方案。深度学习技术（如 RNN、GNN 和 Transformer 架构）显著推动了推荐系统的发展，增强其对用户行为和偏好的理解。然而，在现实场景中，监督学习方法由于数据稀疏性而面临挑战，限制了它们有效学习表示的能力。自监督学习技术作为一种解决方案应运而生，利用固有数据结构生成监督信号，不仅依赖于已标记的数据。通过利用未标记数据和提取有意义的表示方法，利用自监督学习的推荐系统可以在面对数据稀疏性时进行准确的预测和推荐。本文对为推荐系统设计的自监督学习框架进行了全面的回顾，包括对超过 170 篇论文的深入分析。我们探索了九种不同的场景，以全面理解不同情境中使用自监督学习增强的推荐系统。对于每个领域，我们详细阐述了不同的自监督学习范式，即对比学习、生成学习和对抗学习，以展示自监督学习如何在各种上下文中增强推荐系统的技术细节。我们在此 https URL 上持续更新相关的开源材料。
Apr, 2024
本文综述了基于自监督学习技术在图数据中的应用，提出了一个统一的数学框架，并将这些方法根据预文本任务的目标分为四类，并描述了在各个研究领域中的应用及所采用的数据集，评估基准，性能比较和开源图形 SSL 代码。
Feb, 2021
本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。
Oct, 2021
本研究探讨了自监督学习在 spontaneous TTS 和 MOS 预测中的适用性，并在实验中比较了 6 种不同的 SSL 及每种模型中的不同层次，旨在深入了解 SSL 的应用。
Jul, 2023