Mar, 2024
视觉 Transformer 网络的效率提升:设计技术与洞见
Enhancing Efficiency in Vision Transformer Networks: Design Techniques and Insights
Moein Heidari, Reza Azad, Sina Ghorbani Kolahi, René Arimond, Leon Niggemeier...
TL;DR通过重新设计注意力机制,本研究对视觉变换网络(ViT)中的注意力机制进行了全面探索,以提高其性能。包括理论基础、基本概念、关注机制的系统分类以及性能评估等方面的综述。