Dec, 2023
图卷积丰富了 Transformer 中的自注意力
Graph Convolutions Enrich the Self-Attention in Transformers!
Jeongwhan Choi, Hyowon Wi, Jayoung Kim, Yehjin Shin, Kookjin Lee...
TL;DR用基于图滤波的自注意力机制 (GFSA) 在 Transformer 模型中解决了过度平滑问题,提高了在计算机视觉、自然语言处理、图形模式分类、语音识别和代码分类等各领域的性能。