场景自适应稀疏 Transformer 用于事件驱动的目标检测

Apr, 2024

场景自适应稀疏 Transformer 用于事件驱动的目标检测

Scene Adaptive Sparse Transformer for Event-based Object Detection

Yansong Peng, Hebei Li, Yueyi Zhang, Xiaoyan Sun, Feng Wu

TL;DR为了克服传统 Transformer 方法在事件相机物体检测任务中的高计算成本问题，本研究提出了一种适应场景的稀疏 Transformer 模型，通过优化计算效率和性能表现，实现了对重要物体的集中关注和动态稀疏程度的优化，从而在性能和效率上均超过密集网络和其他稀疏网络。

Abstract

While recent transformer-based approaches have shown impressive performances on event-based object detection tasks, their high computational costs still diminish the low power consumption advantage of event camer

transformer-based approaches event-based object detection sparse transformers scene adaptive sparse transformer performance and efficiency

发现论文，激发创造

基于事件的异步稀疏卷积网络

本研究提出了一种通用的框架，将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型，以便直接利用事件数据的本质异步性和稀疏性，并在目标检测和识别任务中实现了高达 20 倍计算复杂度的降低和 24% 的精度提高。

Mar, 2020

利用稀疏变换器的单步 3D 物体检测器

本文研究在自动驾驶中基于 LiDAR 的三维物体检测问题，发现传统的下采样操作可能对信息造成不可避免的损失，提出了一种称作 Single-stride Sparse Transformer (SST) 的新方法，该方法利用 transformers 避免了单步架构中接受域不足的问题，有效处理了点云的稀疏性并显著提升了检测性能，验证集上 Level-1 AP 值达到了 83.8，小物体（行人）检测表现尤为突出。

Dec, 2021

DynaST：用于范例引导图像生成的动态稀疏转换器

通过引入动态稀疏注意力机制的 Transformer 模型，本文提出了一种对样本指导图像生成进行 fine-level 匹配的方法，旨在提升匹配效果与计算效率。该方法在有监督和无监督场景下均可生成视觉上令人满意的图像，并在人物姿势生成、人脸细节合成和图像样式迁移等应用上表现出了显著的优越性。

Jul, 2022

SSTVOS: 稀疏时空 Transformer 用于视频物体分割

介绍了一种基于 Transformer 的视频对象分割方法，称为 Sparse Spatiotemporal Transformers (SST)，使用稀疏注意力抽取每个对象的每个像素表示，同时具有解决运动分割所需的对应关系计算的归纳偏差。SST 模型在 YouTube-VOS 和 DAVIS 2017 上达到了有竞争力的结果，并具有比现有技术更好的可扩展性和鲁棒性。

Jan, 2021

稀疏扫描先验的视觉转换器

利用人眼的稀疏扫描机制，通过引入稀疏扫描自注意机制（S^3A）和稀疏扫描视觉 Transformer（SSViT），有效降低计算负荷，达到在计算机视觉任务中出色的性能表现。

May, 2024

自适应点引导变形注意力网络用于本地特征一致匹配

本文提出了一种自适应的、采用了诸多优点的区域引导 Transformer 网络 (ASTR) 来解决图像的局部特征匹配问题，同时考虑了局部一致性和尺度变化的因素，实验结果证明 ASTR 在五个标准基准数据集上的表现超越了现有最先进的方法。

Mar, 2023

稀疏 Transformer 视觉跟踪

通过引入稀疏注意力机制和双头预测器，成功地解决了基于 Transformer 模型的视觉跟踪任务中自注意力机制关注背景信息而影响性能的问题，并在 LaSOT、GOT-10k、TrackingNet 和 UAV123 等数据集中表现出显著的跟踪性能。相比 TransT，我们的方法将训练时间缩短了 75％。

May, 2022

动态空间稀疏化：用于高效视觉 Transformer 和卷积神经网络的优化

本文提出了一种通过利用视觉数据中的空间稀疏性进行模型加速的新方法，该方法基于所提出的动态令牌稀疏化框架，并通过自适应和不对称计算等方式推广到各种体系结构中，通过对不重要的特征使用轻量级快速路径和对更重要位置使用更具表现力的慢速路径，可以显著减少总体计算量，实验结果表明动态空间稀疏化为模型加速提供了新的更有效的解决方案。

Jul, 2022

粗到细的稀疏变换器用于高光谱图像重建

该论文提出了一种基于 Transformer 的 CST 方法，首次将 HSI 稀疏性嵌入到深度学习中进行重建，使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉，相比于现有方法具有更高的重建性能和更低的计算成本。

Mar, 2022

更好的采样，朝着更好的端到端小目标检测

通过增强采样方法、集成尺度信息、以及任务解耦的样本加权机制，我们提出的检测器在检测小目标方面具有显着优势，实验证明与现有方法相比，平均准确率（AP）在 VisDrone 数据集上提升了 2.9%，在 SODA-D 数据集上提升了 1.7%。

May, 2024