Sep, 2023
使用知识蒸馏和自训练提高 CLIP 的鲁棒性
Improving CLIP Robustness with Knowledge Distillation and Self-Training
Clement Laroudie, Andrei Bursuc, Mai Lan Ha, Gianni Franchi
TL;DR利用 LP-CLIP 技术通过引入一个线性探测层来提高 CLIP 的鲁棒性,该技术利用 CLIP 生成的伪标签以及自训练策略进行训练,无需注释数据,能够增强模型在真实场景中应对多种不确定性和挑战的能力,并在各种数据集上实现了 SOTA 结果