Jun, 2024

LayerMatch: 伪标签对所有层是否有益?

TL;DR基于理论分析和经验实验证明,特征提取层和线性分类层在响应伪标签时具有不同的学习行为。我们开发了两种层特定的伪标签策略:Grad-ReLU 可以通过在线性分类层中消除伪标签的梯度不利影响来减轻噪声伪标签的影响,Avg-Clustering 可以通过整合一致输出来加快特征提取层向稳定聚类中心的收敛速度。我们的方法 LayerMatch 集成了这两种策略,可以避免线性分类层中噪声伪标签的严重干扰,同时加速特征提取层的聚类能力。经过大量实验,我们的方法在标准半监督学习基准上始终展现出卓越的性能,相对基准方法提升了 10.38%,相对最先进的方法提升了 2.44%。