本文提出了一种基于去噪声码器的语音增强方法，利用自监督学习获取语音的相关特征，并采用最佳的自监督学习配置，采用对抗训练方式进行声音去噪，最终实现了一种具备实时能力、优化了客观指标并超越了当前最先进的语音增强模型的方案。

Nov, 2022

自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在 https://github.com/DL4mHealth/SSL_Comparison 发布。

Mar, 2024

本论文讨论如何提高基于深度神经网络分类器在训练数据中鲁棒性以解决标签噪声问题，通过代替分类交叉熵损失为适应标签噪声的损失函数，或者改变训练样本的权重来缓解标签噪声的影响，并介绍一种基于对比学习技术来初始化有监督鲁棒方法以解决高标签噪声下的图像分类问题的方法。

Apr, 2021

提出了一种名为 CCSSL 的半监督学习方法，采用类别聚类和图像对比改善模型的伪标签质量和在真实世界中的鲁棒性，并通过目标重新加权实现了干净标签学习和减少噪声标签学习。实验表明其在多个数据集上均取得了显著的性能提升。

Mar, 2022

本文介绍了一种利用自监督学习和对比学习实现的影像分割技术，该技术可以在大量没有标注数据的情况下学习，并且在三个磁共振成像数据集上验证了其有效性。

Jun, 2020

利用 CLIP 模型的协作样本选择及预训练，并通过对 prompt 的微调以及协同训练 DNN 分类器，解决在学习有噪声标签的过程中由于样本选择错误累积导致的 DNN 训练偏见和泛化性能问题。

Oct, 2023

提出了一种新的理论框架来理解对比自监督学习方法，该方法采用双重 ReLU 网络（例如 SimCLR）。我们证明了每个 SGD 更新中的权重是由协方差算子更新的，并进一步说明了协方差算子的作用和应用。通过建立层次潜变量树模型并证明深度 ReLU 网络的隐藏层学习了该模型的潜变量，我们总结了通过对比自监督学习的初始随机选择法放大而形成的层次化特征。

Oct, 2020

本文综合评估了当前时序数据自监督学习方法的状况，并提供了相应的分类法，同时总结了常用数据集且给出了未来时序分析自监督学习的方向。

Jun, 2023

本文提出了一种集成多尺度去噪器的新方法，用于联合图像压缩和去噪。通过强调噪声与干净图像之间的相关性，采用对比学习的方式来提高网络区分噪声与高频信号的能力，实验证明该方法在失真性能和编解码速度方面优于当前的最新技术水平。

Feb, 2024

本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

Jun, 2023