Sep, 2023
基于梯度约束的锐度感知提示学习用于视觉语言模型
Gradient constrained sharpness-aware prompt learning for vision-language
models
TL;DR该研究纸针对一个新颖的权衡问题，即在视觉语言模型（VLM）的可推广提示学习中，提高对未知类别的性能同时保持对已知类别的性能。通过分析当前方法和广泛使用的锐度感知最小化（SAM）的损失地形，我们得出结论：权衡性能与损失值和损失锐度相关，而两者都是必不可少的。然而，我们发现现有方法的优化梯度在整个优化过程中不能始终保持与损失值和损失锐度的高一致性。因此，我们提出了一种基于SAM的新方法，称为梯度约束锐度感知上下文优化（GCSCoOp），以动态约束优化梯度，从而同时实现上述的两个优化目标。广泛的实验证实了GCSCoOp在权衡问题上的有效性。