Nov, 2023
迈向经过校准的鲁棒视觉语言模型微调
Towards Calibrated Robust Fine-Tuning of Vision-Language Models
Changdae Oh, Mijoo Kim, Hyesu Lim, Junhyeok Park, Euiseog Jeong...
TL;DR就细调技术在预训练模型的潜力释放和模型在分布偏移中的鲁棒性之间存在权衡关系,研究提出了一种校准鲁棒微调(CaRot)方法,以在内部数据和外部数据集上提高预训练视觉 - 语言模型(VLMs)的校准性和鲁棒性。验证结果证明了该方法的有效性。