BriefGPT.xyz
Oct, 2022
MOAT: 交替移动卷积和注意力提供强大的视觉模型
MOAT: Alternating Mobile Convolution and Attention Brings Strong Vision Models
HTML
PDF
Chenglin Yang, Siyuan Qiao, Qihang Yu, Xiaoding Yuan, Yukun Zhu...
TL;DR
本文提出了 MOAT,这是一种基于移动卷积和自注意力的神经网络。它将传统 transformer 模型中的 MLP 替换为移动卷积,并将其重新排序以提供更好的取样特征。在多个任务上进行了测试, MOAT 块显示出了带宽优势和更好的准确性。
Abstract
This paper presents
moat
, a family of
neural networks
that build on top of
mobile convolution
(i.e., inverted residual blocks) and ATtenti
→