Jun, 2023
DecompX:通过传播标记分解来解释 Transforme 决策
DecompX: Explaining Transformers Decisions by Propagating Token
Decomposition
Ali Modarressi, Mohsen Fayyaz, Ehsan Aghazadeh, Yadollah Yaghoobzadeh, Mohammad Taher Pilehvar
TL;DR本文提出了DecompX,通过构建分解的令牌表示形式和它们在模型中的连续传播来解决使用矢量分析解释多层Transformer模型挑战的难题,并证明其在各种数据集上始终优于现有的梯度和矢量分析方法。