Jan, 2022

探究对比学习为何有益于提高对抗标签噪声的鲁棒性

TL;DR通过自监督对比学习,深度神经网络通过学习具有卓越的鲁棒性的表示矩阵来避免噪声标签造成的过拟合,并进一步证明通过对比学习预训练的深度神经网络具有低秩结构,这种结构可以帮助深度神经网络更好地适应噪声标签。