ICLRDec, 2021
动态令牌归一化改进视觉 Transformer
Dynamic Token Normalization Improves Vision Transformers
Wenqi Shao, Yixiao Ge, Zhaoyang Zhang, Xuyuan Xu, Xiaogang Wang...
TL;DR在计算机视觉任务中，我们通过提出一种称为动态令牌归一化（DTN）的新归一化方法，有效解决了传统的层归一化（LN）方法对于图像中的位置上下文的学习不足的问题。 DTN 既可以在单个令牌内进行标准化（内部标准化），又可以在不同令牌之间进行标准化（跨令牌）。DTN 不仅能同时捕捉全局上下文信息和局部位置信息，而且可轻松地应用于 ViT、Swin、PVT、LeViT、T2T-ViT、BigBird 和 Reformer 等各种视觉变换器中，取得了比传统 LN 层更好的成果。