CVPRMar, 2022

语义对齐融合 transformer 用于一阶段物体检测

PDF
TL;DR研究了在数据稀缺的情况下，单次目标检测的问题，提出了一个效果良好的基于注意力机制的框架，名为 Semantic-aligned Fusion Transformer (SaFT)，采用竖直和水平融合模块实现跨尺度和跨样本特征的融合，通过语义对齐的注意力机制大幅提高性能，使得基于目前现有的数据训练的一阶段的检测基线的性能得到了显著提升。
one-shot object detectionfeature fusionattention mechanismsemantic-aligned fusion transformerperformance gains
发现论文，激发创造
  • FM-Fusion: 基于视觉 - 语言基础模型的实例感知语义映射增强

    基于视觉 - 语言基础模型，本研究提出了一种概率标签融合方法，用于从开放集标签测量中预测闭合集语义类别，以增强基于实例感知的语义映射；通过整合各模块构建一个统一的语义映射系统，并通过 ScanNet 和 SceneNN 数据集评估了方法的零样本性能，取得了显著优于传统方法的 40.3 均值平均精度（mAP）的结果。

    Feb, 2024

  • 基于全交叉变换器的小样本目标检测

    本文提出了一种新的基于 Fully Cross-Transformer 的模型 (FCT) 实现 few-shot 目标检测，通过在特征 backbone 和检测头中结合跨模块交互 attention，提高模型中不同表示层之间的相似性学习以达到更好的性能。在 PASCAL VOC 和 MSCOCO FSOD 基准测试上的实验验证了该模型的有效性。

    Mar, 2022

  • 无微调一次性目标检测

    本研究中我们试图通过应对一次训练样例被限制为 1 的单独目标检测问题，丰富目标检测类别，并引入了匹配 - FCOS 网络和结构感知关系模块等模型以及新颖的训练策略进行探究，旨在最终消除对支持图像的微调需要，结果在多个数据集上始终超过同类现有技术，进而分类属于基于深度学习和 Faster R-CNN 的无锚点检测技术。

    May, 2020

  • CAT: 一种用于一次性目标检测的交叉注意力变换器

    本文提出了一种通用的跨注意力变换器模块来解决一次性物体检测中难以准确利用语义相似度和泛化的问题，并通过在 COCO、VOC 和 FSOD 等数据集上的大量实验表明其有效性和效率。

    Apr, 2021

  • 多模态变换器实现无类别物体检测

    本文提出使用多模态视觉变换器结合图像 - 文本对进行目标检测，证明了该方法可有效地提高跨领域和新颖目标的性能，并开发了一个高效的 MViT 体系结构，具有多尺度特征处理和多语言融合功能。

    Nov, 2021

  • 用于多方向场景文本检测的融合文本分割网络

    本文提出了一种新的多方位场景文本检测的模型，将多级特征融合到特征提取中，将文本实例一起检测和分割，该方法有效地结合了语义分割和基于区域提议的目标检测任务，实现了在多方位场景文本检测基准测试 ICDAR2015 Incidental Scene Text 和 MSRA-TD500 上的超越，达到了分别 84.1% 和 82.0% 的 Hmean 值。

    Sep, 2017

  • ASAP：高准确度实时语义分割

    本文提出使用 Feature Fusion with Different Norms (FFDN)，利用多重尺度的丰富全局上下文信息和垂直池化模块来减少在垂直方向上全局上下文编码的复杂度。在城市风景测试数据集上，平均交互并集（mIoU）为 73.1，每秒帧数（FPS）为 191，与目前最先进的结果相当。

    Oct, 2022

  • 增强 DETR 收敛和多尺度特征融合的语义对齐匹配

    本文提出 Semantic-Aligned-Matching DETR++（SAM-DETR++）算法，通过在同一特征嵌入空间中投影对象查询和编码图像特征以便更容易地匹配具有类似语义的对象。此算法有效地融合了多尺度特征，加速了 DETR 的收敛速度并提高了检测精度，拥有成为现有 DETR 收敛解决方案完美补充的潜力。

    Jul, 2022

  • 全程 Transformer 装备的端到端指代视频物体分割

    提出了一种基于 transformers 的完全建立在 Referring Video Object Segmentation 任务上的框架，通过学习 mask 序列解决视频中物体的分割问题，并通过 Stacked Transformer 来捕捉物体级别的空间上下文。

    Sep, 2023

  • 金字塔融合变压器用于语义分割

    本研究提出了一种基于 Transformer 的 Feature Pyramid Fusion Transformer (PFT) 方法，结合学习到的查询和 Feature Pyramid 中的每个空间特征进行交叉注意力和交叉尺度的互补信息交换，提高了面向掩码的语义分割性能，并在三个广泛使用的语义分割数据集上达到了与现有最佳方法相比的最先进的性能。

    Jan, 2022