Jul, 2022

无纯元素的Transformer是强大的图学习器

TL;DR本文提出了一种名为Tokenized Graph Transformer(TokenGT)的新颖神经网络,它可以用于大规模图形学习,通过节点和边的独立表示进行转换,并且通过合适的token嵌入,TokenGT可以在理论上至少与由等变线性层组成的不变图网络(2-IGN)一样有潜力进行表现,实践中,TokenGT在大规模图形数据集(PCQM4Mv2)上的表现不仅优于基于消息传递的图神经网络(GNN)基线,而且与具有复杂图特定归纳偏差的变型Transformer相比也具有竞争力。