Sep, 2023
移动版 V-MoEs:通过稀疏的专家混合缩小视觉变形器
Mobile V-MoEs: Scaling Down Vision Transformers via Sparse Mixture-of-Experts
Erik Daxberger, Floris Weers, Bowen Zhang, Tom Gunter, Ruoming Pang...
TL;DR通过使用稀疏混合专家模型将 Vision Transformers(ViTs)降低规模以适应资源受限的视觉应用,实现了性能和效率之间更好的平衡。