AAAIDec, 2023
基于结构化语言知识的视觉 - 语言模型的层次化提示学习
Learning Hierarchical Prompt with Structured Linguistic Knowledge for Vision-Language Models
Yubin Wang, Xinyang Jiang, De Cheng, Dongsheng Li, Cairong Zhao
TL;DR本研究提出一种称为分层提示调整的新方法，利用大语言模型（LLMs）建立描述每个类别的图形模型，以模拟描述类别的实体和属性及其相关性，并通过引入关系引导注意模块来捕捉实体和属性之间的关联，以及通过结合整体语义建模来处理更复杂和长期的关系。实验结果表明，我们的方法具有很强的效果，并且比现有的最先进方法具有更好的泛化性能。