vits | BriefGPT - AI 论文速递

关键词vits

搜索结果 - 27

ECCVHydra Attention: 多头注意力的高效实现
介绍了一种针对大型图像的高效注意力操作 ——Hydra Attention，使用的多头注意力与特征数一样多，与元素数量和特征数量成线性关系，比现有的 self-attention 更快，同时在 ImageNet 数据集上保持了高准确性。
PDF2 years ago
2020 年代更多的 ConvNets：使用稀疏性将核心扩展到超过 51x51
本论文研究了在极端卷积核上训练和验证了能够光滑扩展卷积核的方法，提出了一种基于此方法的纯卷积神经网络结构 SLaK，可以在图像分类和各种下游任务中实现与分层变压器和现代 ConvNet 结构相当甚至更好的性能表现。
PDF2 years ago
全局上下文视觉 Transformer
本文介绍了一种新的计算机视觉模型 GC ViT，核心是全局上下文自注意力模块，结合标准本地自注意力来有效地建模长程和短程空间交互关系，解决了 ViTs 的归纳偏差问题，在图像分类、对象检测和语义分割等任务中实现了新的最高性能表现。
PDF2 years ago
架构无关的遮蔽图像建模 -- 从 ViT 回到 CNN
本文提出了一种基于蒙版图像建模的框架，即 A^2MIM，可用于 Transformers 和 CNNs 网络，通过对补丁之间的相互作用的研究发现蒙版图像建模实质上教授了模型更好地处理中阶交互和提取通用特征的能力，并通过大量实验证明了该方法在
PDF2 years ago
统一蒙版：使用局部信息实现金字塔视觉 Transformer 的 MAE 预训练
本文提出了统一遮蔽（Uniform Masking，UM）技术，将其成功应用于金字塔式视觉变换器（Pyramid-based ViTs）的 MAE 预训练中，命名为 UM-MAE。UM 技术包括均匀抽样（Uniform Sampling，U
PDF2 years ago
MIA-Former: 多粒度输入适应的高效和鲁棒视觉 Transformer
本文提出了一种多粒度输入自适应 Transformer 框架 MIA-Former，可以在多个粒度上调整 ViTs 的结构以适应输入图像的不同难度，并且具有改进对抗攻击鲁棒性的效果。经过实验验证，MIA-Former 能够有效地分配计算资源
PDF3 years ago
VOLO: 视觉展望者用于视觉识别
本研究介绍了一种新的注意力机制 - outlook attention，并提出了一个通用的神经网络架构 VOLO 来优化在 ImageNet 分类任务上基于自我注意力的视觉 transformer (ViT) 性能问题，VOLO 在没有额外
PDF3 years ago