May, 2024

用于图指导调优的联合嵌入

TL;DR该论文研究了将图模态集成到大型语言模型中,以提升其在图解指令任务中的性能表现,并通过图嵌入训练模型,使其能够理解和基于图表示生成回答。该方法在性能上显著优于图文方法,并且对于较大的图结构保持一致。