Jul, 2024

通过提示对齐调整视觉 - 语言模型的候选标签

TL;DR我们提出了一种框架,通过使用候选标签对 VLM 进行 prompt learning,根据模型输出和类别后验预测,结合可学习和手工构建的提示方式来消除标签的歧义,并引入了不同的训练目标,进一步提高了性能。