Jun, 2024
从冗余到相关性:增强多模态大型语言模型的可解释性
From Redundancy to Relevance: Enhancing Explainability in Multimodal Large Language Models
Xiaofeng Zhang, Chen Shen, Xiaosong Yuan, Shaotian Yan, Liang Xie...
TL;DR通过分析信息流的动态流动,我们发现信息流似乎在浅层中汇聚,进一步的研究揭示了浅层中图像令牌的冗余,因此引入了一个截断策略来聚合这些浅层内的图像令牌,该方法通过多个模型上的实验证实,并获得了一致的改进。