May, 2021

使用 Transformer 进行端到端实例分割

PDF
TL;DR本文提出了一种名为 ISTR 的实例分割变压器，利用低维掩模嵌入进行实例分割，采用递归细化策略实现检测和分割并行，实现了端到端框架。在 MS COCO 数据集上，基于 ResNet50-FPN 和 ResNet101-FPN 的 ISTR 分别获得了 46.8 / 38.6 和 48.1 / 39.9 的盒子 / 掩码 AP，并取得了最先进的性能。
end-to-end paradigmsinstance segmentationtransformerlow-dimensional mask embeddingsrecurrent refinement strategy
发现论文，激发创造
  • 基于 Transformer 的对象分割（SOTR）

    该研究提出了一种新型、灵活且有效的基于 transformer 的模型 SOTR，该模型在 CNN 骨干网络的基础上增加了两个并行子任务，通过 transformer 预测每个实例的类别并使用多级上采样模块动态生成分割掩模，sotr 在识别实例级别时表现优异，代码开放源代码。

    Aug, 2021

  • 基于 Transformer 的端到端视频实例分割

    VisTR 是一种基于 Transformers 的视频实例分割框架，提出了一种新的实例序列匹配和分割策略实现对序列的监督，从相似性学习的角度框架实例分割和跟踪，大大简化了整个流程，并在 YouTube-VIS 数据集上取得了最佳结果和最高速度，这激励了未来更多的视频理解任务的研究。

    Nov, 2020

  • 使用实例感知 Transformer 分割对象

    本文提出了一种简单的单阶段实例分割框架，SOIT，用于通过实例感知变换器对物体进行分割。

    Dec, 2021

  • ReSTR: 使用 Transformers 实现无卷积参考图像分割

    本文介绍 ReSTR，一种卷积神经网络瓶颈可用的 Transformer，它可以用自注意力机制来融合图像和语言信息。该模型在公共基准测试中表现出色。

    Mar, 2022

  • 使用 Transformer 的端到端一步式人物搜索（PSTR）

    提出了一种新颖的基于 transformer 的人物搜索框架 PSTR，在一个结构中同时执行人物检测和重识别，实验结果表明其在两个流行基准测试上取得了最新的 state-of-the-art，其中最有挑战的 PRW 基准测试上平均精度（mAP）达到了 56.5％。

    Apr, 2022

  • 从序列到序列的角度重新思考使用 Transformers 进行语义分割

    本文提出了一种新的语义分割方法，使用纯 Transformer 编码图像为序列的方式，通过全局上下文模型和一个简单的解码器生成强大的分割模型，称为 SETR，取得多项最新的测试结果。

    Dec, 2020

  • ESTISR：针对真实场景的高效场景文本图像超分辨率调整

    提出了一种高效场景文本图像超分辨网络（ESTISR Network）用于资源受限的部署平台，ESTISR 依赖于 CNN 特征提取器和用于解码低分辨率图像的高效自我关注机制，它在还原图像的质量和提高场景文本识别准确性时，不仅能保持高性能，还在实际运行时间和峰值内存消耗方面表现更优秀。

    Jun, 2023

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • 用于快速高效场景文本识别的 Vision Transformer

    本文提出 ViTSTR 作为一种简单的单阶段模型架构的 STR，其基于一种计算和参数高效的视觉变换器（ViT），ViTSTR 在以往的基准测试方法中取得了具有竞争力的准确率 82.6％（具有数据增强时为 84.2％），可获得 2.4 倍的加速比，只使用 43.4％的参数数量和 42.2％的 FLOPS。

    May, 2021

  • AutoSTR: 场景文本识别高效骨干网络搜索

    本文提出了 AutoSTR 来搜索依赖于数据的骨干以增强文本识别性能，实验表明，通过搜索数据依赖的骨干，AutoSTR 可以在标准基准测试中胜过最先进的方法，且 FLOPS 和模型参数更少。

    Mar, 2020