Jul, 2021

AutoFormer: 为视觉识别搜索 Transformer

PDF
TL;DR本文提出了一种名为 AutoFormer 的新一代架构搜索框架，该框架是针对视觉分类和检测任务中 transformer 网络设计的，通过优化 supernet 让数千个子网络获得很好的训练，最终得到的 AutoFormers 模型在 ImageNet 数据集上取得了比 ViT 和 DeiT 更高的性能，且具有良好的迁移性能和蒸馏实验性能。
transformer-based modelsvision tasksautoformerarchitecture searchsupernet training
发现论文，激发创造
  • AutoTaskFormer: 搜索视觉 Transformer 进行多任务学习

    本研究提出了一个名为 AutoTaskFormer 的自动多任务视觉 Transformer 神经架构搜索框架，该框架能够自动识别在多个任务之间共享的权重，并在各种资源约束下提供成千上万的经过良好训练的视觉 Transformer。实验结果表明，AutoTaskFormer 在多任务学习方面优于现有的手工制作的视觉 Transformer。

    Apr, 2023

  • 通过架构采样器专注于我们需要的内容

    Vision Transformers 是目前计算机视觉领域的重要技术，这篇论文提出了一种名为 FocusFormer 的方法，它通过学习一个架构采样器，在不同资源约束条件下分配更高的采样概率，从而提高架构的性能，并显著降低搜索成本。

    Aug, 2022

  • MetaFormer 对于计算机视觉是必不可少的

    通过取代 Transformers 中的注意力机制，使用空间 MLPs，从而验证了 Transformers 的总体架构（MetaFormer）对模型性能的贡献更为关键。提出了 MetaFormer 的概念，这是一个抽象出 Transformers 中 token mixer 以外的通用架构，并将提出的 PoolFormer 作为未来 MetaFormer 架构设计的起点基线模型。

    Nov, 2021

  • 用于视觉的 MetaFormer 基线

    本文基于 MetaFormer 架构探索了不同的 token mixer 的组合方式，取得了较高的图像分类准确率，同时也提出了新的激活函数 StarReLU。

    Oct, 2022

  • UNetFormer: 用于三维医学图像分割的统一视觉 Transformer 模型和预训练框架

    本文提出了一个统一的框架，它由两个体系结构组成，称为 UNetFormer，具有基于 3D Swin 变压器的编码器和卷积神经网络和变压器的解码器。该架构的设计允许在准确性和计算成本之间满足宽范围的权衡要求。使用 CT 图像进行自我监督预训练，使用 Medical Segmentation Decathlon（MSD）数据集进行肝和肝肿瘤分割任务的 Fine-tune 和测试，并使用 MRI 图像的 BraTS 21 数据集进行脑肿瘤分割，并在 Dice 评分方面优于其他方法。

    Apr, 2022

  • Visformer：基于 Transformer 的视觉友好型模型

    通过将 Transformer 模型逐步转化为基于卷积的模型，进行经验证实验表明，命名为 Visformer 的新架构比 Transformer 模型和卷积模型在 ImageNet 分类准确性方面表现更佳，尤其是当模型复杂度较低或者训练集较小时。

    Apr, 2021

  • TinyFormer：小型设备上高效的 Transformer 设计与部署

    本文提出了 TinyFormer，这是一个专门设计用于在微控制器单元上开发和部署资源高效的 transformers 的框架，通过 SuperNAS、SparseNAS 和 SparseEngine 的组合，实现了在 MCUs 上高效部署 sparse models 以及稀疏推理。评估结果表明，TinyFormer 能够以 96.1% 的准确率开发有效的 transformers，并在稀疏推理上相对于 CMSIS-NN 库实现了高达 12.2 倍的加速。TinyFormer 将强大的 transformers 引入了 TinyML 场景，极大地扩展了深度学习应用领域。

    Nov, 2023

  • ResFormer：多尺度训练下的 ViT 模型缩放

    ResFormer 框架通过多分辨率训练方法和全局 - 局部位置嵌入策略，在图像分类、目标检测、语义分割和视频动作识别等领域取得了较好的结果。

    Dec, 2022

  • ActionFormer：使用 Transformers 定位行为片段

    ActionFormer 是一种基于 Transformer 网络的模型，采用了多尺度特征表示和本地自我注意力机制来识别视频中的动作。它在 THUMOS14 上取得了 71.0％ mAP，在 ActivityNet 1.3 和 EPIC-Kitchens 100 中也表现出色。

    Feb, 2022

  • SeqFormer: 序列 Transformer 用于视频实例分割

    本文介绍了 SeqFormer，一种基于视频实例分割的模型，通过注意力机制捕捉视频帧之间的关系，定位每帧的实例并聚合时间信息，从而实现自然的实例跟踪并预测动态遮罩序列，结合 Swin Transformer 可获得更高的 AP，是视频实例分割领域的强基线模型。

    Dec, 2021