Feb, 2022
Flowformer: 线性化变压器与守恒流
Flowformer: Linearizing Transformers with Conservation Flows
Haixu Wu, Jialong Wu, Jiehui Xu, Jianmin Wang, Mingsheng Long
TL;DR本文提出了基于流网络理论的 Flow-Attention 机制以解决 Transformers 中注意力机制的复杂度难题,并在各个领域取得了线性时间性能,包括长序列,时间序列,视觉,自然语言和强化学习等。