Jun, 2024
VLM 注意到了什么?一个用于无噪音文本 - 图像破坏与评估的机制可解释性流程
What Do VLMs NOTICE? A Mechanistic Interpretability Pipeline for Noise-free Text-Image Corruption and Evaluation
Michal Golovanevsky, William Rudman, Vedant Palit, Ritambhara Singh, Carsten Eickhoff
TL;DR通过在视觉语言模型中引入 NOTICE 技术,实现了对其决策过程的透明化和可解释性,从而揭示了关键的决策因素和多模态整合中的中间层交叉注意力。