本文提出了一个集成 tri-training 的通用社交感知的自监督学习框架，将节点间的自我监督信号与其他节点的监督信号结合起来，以提高推荐系统性能。实验证明了该框架的有效性。

Jun, 2021

TriMix 是一种自我监督学习的新概念，通过数据线性插值生成虚拟嵌入，积极探索潜在的空间扩充，其提出的方法在自我监督学习和半监督学习任务中表现良好。

Jun, 2022

本文介绍使用多个基于自监督学习的模型以及它们所提取特征的集成方法，改善语音识别任务的性能，并使用三种自监督模型 HuBERT、Wav2vec2.0 和 WaveLM 进行了实验，得到了较好的效果。

Jun, 2022

我们提出了一种针对基于聚类的自主学习（SSL）的全新客观函数，旨在解决表示坍塌、聚类坍塌和集群分配排列不变性等三种失败模式的问题。我们的目标函数包含三个关键组成部分：（i）惩罚表示坍塌的生成项，（ii）促进对数据增强的不变性，从而解决标签排列问题，以及（ii）惩罚聚类坍塌的一致性项。此外，我们的目标函数具有两个值得注意的优点：首先，从贝叶斯的角度来看，它可视为数据对数似然的下界。其次，它可以训练标准的主干架构，无需使用诸如停止梯度、动量编码器或专门的聚类层等非对称元素。通过其简洁性和理论基础，我们提出的目标函数非常适合优化。在玩具数据和实际数据的实验中证明了其有效性。

Sep, 2023

我们提出了两种简单的方法，使用逐帧加法和交叉注意机制来高效地将自监督学习模型的表示纳入 ASR 架构，从而在训练期间避免使用自监督学习模型，加快了训练速度，并在 Librispeech 和 Tedlium 数据集上相较于基准模型实现了显著性能提升。

Apr, 2024

提出了一种名为 Barlow Twins 的自监督学习方法，通过在两个相同的网络中输入扭曲版本的样本并测量它们输出的相关性矩阵，使嵌入向量在保持相似性的同时最小化它们之间的冗余。该方法在低数据范围内的半监督分类上优于以前的方法，并对于使用线性分类器头部的 ImageNet 分类和分类与目标检测的转移任务与当前最先进的方法相媲美。

Mar, 2021

本文探讨了如何利用数据增强技术来解决语言和领域中数据不足的问题，从而在限制条件下将自监督学习应用于语音表示方面，并在 Wav2Vec 2.0 预训练模型的每个组成部分上提出了改进方法，在 Librispeech 的测试任务中比 Wav2Vec 2.0 实现了 13％的相对字错误率改进。

Jun, 2022

该研究提出三种任务特定的结构化剪枝方法，以减少自我监督语音表示学习和前端网络的计算成本，同时保持模型准确性并提高计算效率。在实验中，该方法在减少 40% 到 50% 的计算成本的情况下，比原始 wav2vec2-base 模型更准确的表现出更高的计算效率。

Feb, 2023

提出了一种新的理论框架来理解对比自监督学习方法，该方法采用双重 ReLU 网络（例如 SimCLR）。我们证明了每个 SGD 更新中的权重是由协方差算子更新的，并进一步说明了协方差算子的作用和应用。通过建立层次潜变量树模型并证明深度 ReLU 网络的隐藏层学习了该模型的潜变量，我们总结了通过对比自监督学习的初始随机选择法放大而形成的层次化特征。

Oct, 2020

本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

Nov, 2022