May, 2023

关于注意力图神经网络中过度平滑现象的揭秘

TL;DR本篇论文通过严密的数学分析,将注意力机制的图神经网络视为非线性时变动力系统,并将不均匀矩阵的乘积和联合谱半径的理论工具和技术纳入分析,证明了注意力机制无法避免过度平滑,并且会以指数方式失去表达能力