token mixer | BriefGPT - AI 论文速递

关键词token mixer

搜索结果 - 5

ParFormer：使用并行的本地全局令牌混合和卷积注意力补丁嵌入的视觉 Transformer 基线
该研究提出了 ParFormer 作为一种改进的 transformer 体系结构，通过将不同的 token mixer 集成到一个阶段中，从而提高特征提取能力。与传统的窗口移动方法不同，结合本地和全局数据可以精确表示短程和长程空间关系。通
PDF3 months ago
TransXNet: 通过双动态令牌混合器学习全局和局部动态以进行视觉识别
提出了一种轻量级的 Dual Dynamic Token Mixer (D-Mixer) 来聚合全局信息和局部细节，通过在特征分段上分别应用高效的全局注意力模块和输入相关的深度可分离卷积，为网络赋予了强大的归纳偏差和扩大的有效感受野。使用
PDF8 months ago
CVPRRIFormer：在不使用 Token Mixer 功能的同时保持视觉骨干网络的有效性
本文研究如何在去除基本构建模块中的令牌混合器的同时保持视觉骨干的有效性，并提出了一个可行的优化策略，使得我们能够构建一种极其简单的视觉骨干，具有鼓舞人心的性能，同时在推理过程中享受高效性。
PDFa year ago
用于视觉的 MetaFormer 基线
本文基于 MetaFormer 架构探索了不同的 token mixer 的组合方式，取得了较高的图像分类准确率，同时也提出了新的激活函数 StarReLU。
PDF2 years ago
CVPRMetaFormer 对于计算机视觉是必不可少的
通过取代 Transformers 中的注意力机制，使用空间 MLPs，从而验证了 Transformers 的总体架构（MetaFormer）对模型性能的贡献更为关键。提出了 MetaFormer 的概念，这是一个抽象出 Transfor
PDF3 years ago