语义感知的不变转换 RoI Align

Dec, 2023

Semantic-Aware Transformation-Invariant RoI Align

Guo-Ye Yang, George Kiyohiro Nakayama, Zi-Kai Xiao, Tai-Jiang Mu, Xiaolei Huang...

TL;DR在这篇论文中，我们提出了一种新颖的 RoI 特征提取器 Semantic RoI Align（SRA），它能够在各种变换下提取不变的 RoI 特征，用于两阶段检测器。我们通过引入语义注意力模块，利用 RoI 内的全局和局部语义关系自适应地确定不同采样区域。我们还提出了动态特征采样器 Dynamic Feature Sampler，根据 RoI 的宽高比动态采样特征，以提高 SRA 的效率。另外，我们引入了一种新的位置嵌入 Area Embedding，通过改进采样区域表示提供更准确的位置信息给 SRA。实验证明，我们的模型在比基准模型轻微计算开销的情况下显著优于其他模型，并具有出色的泛化能力，可以改善各种最先进的主干网络和检测方法的性能。

Abstract

Great progress has been made in learning-based object detection methods in the last decade. two-stage detectors often have higher detection accuracy than one-stage detectors, due to the use of region of interest

learning-based object detection two-stage detectors region of interest feature extractors semantic roi align dynamic feature sampler

发现论文，激发创造

学习 RoI Transformer 在航拍图像中检测有方向物体

本文提出了一个 RoI Transformer 模型用于解决在航拍图像中检测旋转目标时，水平建议区域（HRoI）和旋转建议区域（RRoI）之间可能会引入不匹配的问题。该模型具有轻复杂度和高性能，提出的模型在两种常见而具有挑战性的遥感数据集 DOTA 和 HRSC2016 上表现出了最先进的性能。

Dec, 2018

重新审视一阶段目标检测中的特征对齐

提出了一种 RoIConv 算子和 AlignDet 架构，用于解决单阶段目标检测中 anchor boxes 和卷积特征之间的错位问题，取得了 44.1 的最佳平均精确度。

Aug, 2019

ROIFormer：用于高效自监督单目深度估计的语义感知关注区 Transformer

通过基于语义信息的几何启示本文提出了一种高效的本地自适应注意方法来增强几何意识的表示，使得其在 KITTI 数据集上建立了新的最前沿，证明了本方法在自监督单目深度估计任务上的有效性。

Dec, 2022

视频对象识别的时态 RoI Align

在视频物体检测中，使用提取视频中当前帧之前的帧中的信息对当前帧进行检测以提取时序信息是一种自然的选择，本文提出了一种基于特征相似性的新型 Temporal RoI Align 算子，用于从当前视频中的其它帧特征图中提取与当前帧相似的结果，能够提取整个视频的时序信息，并将其整合到单帧视频检测器和其他现有视频检测器中，经定量实验表明，所提出的 Temporal RoI Align 算子可以显著提高检测性能。

Sep, 2021

遥感图像中端到端定向目标检测的高效解码器

我们提出了一种具备有效的解码器的端到端定向目标检测器，该解码器结合了旋转 RoI 注意力（RRoI 注意力）和选择性不同查询（SDQ）两项技术，能够有效地解决遥感图像中多方向、不同尺度、密集分布的目标实例的检测问题。通过交叉注意机制，RRoI 注意力能够有效地聚焦定向感兴趣区域并对多尺度特征进行对齐。通过从中间解码器层收集查询并过滤相似查询以获得不同查询，提出的 SDQ 能够促进一对一标签分配的优化，而不会引入多余的初始查询或额外的辅助分支。在五个数据集上进行的大量实验证明了我们方法的有效性，尤其是我们的方法在 DIOR-R（67.31% mAP）、DOTA-v1.5（67.43% mAP）和 DOTA-v2.0（53.28% mAP）上取得了最先进的性能，使用了 ResNet50 作为骨干网络。

Nov, 2023

通过捕获物体间的关系提升航空图像中的检测能力

基于 transformer 的方法在三个基准测试中表现出一致的性能提升，特别是在 DOTA-v1.5 和 HRSC 2016 上名列前茅，相对于基线方法分别增加了 1.59 mAP 在 DOTA-v1.0、4.88 mAP 在 DOTA-v1.5 和 2.1 mAP 在 HRSC 2016。

Apr, 2024

一种新的感兴趣区域提取层，用于实例分割

本文旨在提供一个新的通用 RoI 提取器 ——GRoIE，它引入非局部模块和注意机制来提高性能。综合组件级的消融研究，找到了 GRoIE 层的最佳算法和参数集。该提取器能够无缝地集成在各种二阶段架构中，为目标检测和实例分割任务带来显著 1.1% 的 AP 提高。

Apr, 2020

跨物体感知的非局部 RoI

本研究提出了一种新的模块 ——NL-RoI，该模块能够将感兴趣区域（RoI）表示为其内在特征和与其他 RoI 的外在关系，进而用于图像检测和分割任务，并在实验中取得了较好的表现。

Nov, 2018

学习区域特征进行目标检测

提出了一个更统一而可学习的区域特征提取方法，它消除了大部分启发式选择，并且在性能上优于现有的基于 RoI pooling 的方法。

Mar, 2018

保留位置信息的显著目标排名注意力模型

本文研究了显著对象排名任务 (SOR)，提出了第一个端到端的 SOR 框架，并采用多任务学习的方式来解决它。该框架同时处理实例分割和显著性对象排名，而且 SOR 分支与不同检测方法相互独立而灵活，易于使用。我们还引入了一个面向 SOR 分支的位置保留注意力 (PPA) 模块，通过在 ROI pooling 运算中保留对象的绝对坐标，将位置信息融合到语义特征中，采用注意力机制来获得提议的上下文化表示，以预测它们的相对排序，实验表明该方法明显优于之前最先进的方法。

Jun, 2021