BriefGPT.xyz
Feb, 2021
LambdaNetworks:无需Attention建模长距离交互
LambdaNetworks: Modeling Long-Range Interactions Without Attention
HTML
PDF
Irwan Bello
TL;DR
该研究提出了一种名为Lambda网络的神经网络结构,其中采用Lambda层用于捕捉输入与结构化上下文信息之间的长程交互,并且在ImageNet分类,COCO对象检测和实例分割等领域中明显优于传统的卷积和注意力网络,同时LambdaResNets也是一种速度更快、精度更高的分类模型。
Abstract
We present
lambda layers
-- an alternative framework to self-attention -- for capturing
long-range interactions
between an input and
structured c
→