本研究提出了一种点关注网络，它可以在对 3D 点云进行语义分割时学习丰富的本地形状特征和上下文相关性，并代替传统卷积核或参数共享机制来更有效地处理稀疏的 3D 点云。实验表明，该算法能够与现有的最先进方法同等或更好地处理各种 3D 点云。

Sep, 2019

本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

Apr, 2019

本论文提出两个一维自注意力层的 2D 因式分解来减少计算复杂度，同时提出了一个位置敏感型自注意力设计，该设计结合两个一维自注意力层形成了一种新的构建块，称为位置敏感型轴注意力层；在图像分类和密集预测任务中，实验证明本文所提出的模型在四个大规模的数据集上表现出色，其中在 ImageNet 上表现最好，使得我们小型变体和计算效率分别提高了 3.8 倍和 27 倍，而本文提出的 Axial-DeepLab 模型在 COCO test-dev、Mapillary Vistas 和 Cityscapes 数据集上都达到了最高水平。

Mar, 2020

通过使用新颖的自注意力模块，将全局特征反映到局部特征和局部接受域，以及优化解耦头和 AB-OTA，我们提出的模型在大中小型模型上能够实现 49.0%（71FPS，14ms），46.1%（85FPS，11.7ms）和 39.1%（107FPS，9.3ms）的平均精度，超过了 YOLOv5 0.8%-3.1% 的平均精度。

Jun, 2022

本研究旨在通过多任务学习方式训练一个网络实现视觉注意力，使用半监督学习方式生成前 / 背景分割标签，进而训练目标检测模型，利用分割地图实现自我注意机制，获得在交通监控领域两个数据集上显著的 mAP 改进，UA-DETRAC 和 UAVDT 数据集上均实现了最先进的结果。

Feb, 2020

我们提出了基于点云和多视角图像的自我和交叉注意力聚合方法 (SCA-PVNet) 来进行三维目标检索，通过设计两种特征聚合模块（即 In-Modality Aggregation Module (IMAM) 和 Cross-Modality Aggregation Module (CMAM)），通过自我和交叉注意力机制有效地融合多视角特征和点云特征，从而获得目标检索的最终描述符。我们在从小到大范围的三个数据集上进行了大量实验和分析，证明了提出的 SCA-PVNet 方法在三维目标检索领域的卓越性能。

Jul, 2023

提出了一种基于稀疏特征图的关注模块的单级无 Anchor 3D 对象检测方法，通过将基于体素的稀疏 3D 特征数据转换为稀疏 2D 特征图，直接从增强和稠密的 2D 特征映射中回归出 3D 边界框，并进一步提出了一种基于 IoU 的检测置信度重新校准方案，最终可用于点云数据的目标检测。

Aug, 2021

本文探究了点云中三维物体检测的鲁棒性问题，引入了一种新的 TANet 模型，其中 Triple Attention 模块和 Coarse-to-Fine Regression 模块的结合提高了模型性能，实验结果在 KITTI 数据集上排名第一，较之现有最先进模型运行速度更快，且准确性更高。

Dec, 2019

通过领域自适应将感知域中的真实场景特征与概念域中的增强场景特征进行关联，提出了一种新的 3D 检测框架，同时引入基于注意力的重加权模块，无需增加推理成本即可利用网络特征增强能力，在 KITTI 3D 检测基准测试中实现了更高的性能。

Aug, 2022

利用跨注意力机制和自我关注机制设计新型神经网络 PointAttN，消除了现有方法中局部区域划分对点云密度分布敏感的问题，其在处理点云的过程中以点为基本单位进行计算，以简单而有效的方式直接建立点之间的短程和长程结构关系，因此可以精确地捕捉三维形状的结构信息，并预测具有高度详细几何形状的完整点云。PointAttN 在 Completion3D 和 PCN 等流行基准测试中优于现有技术的表现，代码可在 https URL 上获取。

Mar, 2022