Oct, 2023
GAT 是否失衡?
Are GATs Out of Balance?
Nimrah Mustafa, Aleksandar Bojchevski, Rebekka Burkholz
TL;DR基于图神经网络 (Graph Neural Networks) 的优化和学习动态尚未被广泛探索,本研究通过分析图注意力网络 (Graph Attention Network) 提出的保守定律解释了标准初始化中参数变动困难的现象,并提出了一种初始化方案来平衡图注意力网络,使得深层网络更易于训练并加速收敛速度。