Apr, 2022

从点到块：实现自注意力在 3D 形状识别中的应用

PDF
TL;DR本研究提出 Point Transformer-in-Transformer 方法，结合局部和全局注意机制来进行 3D 图形识别，旨在解决 Transformer 架构的计算效率问题和注意机制无法有效连接单个点的全局问题。实验表明，该方法比基线 Transformer 提供更有用的下游任务特征，同时也更具有计算效率。此外，该方法还可用于场景重建中的功能匹配。
transformer architecture3d shape recognitionpoint transformer-in-transformerlocal and global attention mechanismsscene reconstruction
发现论文，激发创造
  • PatchFormer：一种具有补丁注意力的高效点变换器

    在点云学习领域中，由于 Transformer 模型生成的注意力矩阵具有输入规模的平方复杂度，因此本文提出了一种采用自适应方式学习较小基础上的基础并通过它们的带权求和来计算注意力矩阵的方法 (PAT)，并借助于轻量级的多尺度注意力块（MST）来实现对不同尺度特征的关注，最终构建了一个名为 PatchFormer 的神经网络，为点云学习提供了可比较的准确性，并且比以前的点 Transformers 快 9.2 倍。

    Oct, 2021

  • 快速点变换器

    本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

    Dec, 2021

  • PointCAT：点云的交叉注意力变换器

    本文提出了一种基于 Point Cross-Attention Transformer 的新型端到端网络结构，将多尺度特征通过两个不同的跨注意力变换器分支进行组合，并引入一种有效的形状分类模型，通过计算不同分支的单类标记与注意图来减少计算负担，实验表明该方法在形状分类，部分分割和语义分割任务中表现优异。

    Apr, 2023

  • CloudAttention：用于 3D 点云学习的高效多尺度注意力方案

    使用集合转换器在分层框架中对点云进行形状分类和分割，实现了状态 - of-the-art 的性能，并可用于处理大规模稀疏数据。

    Jul, 2022

  • 多尺度几何感知 Transformer 用于 3D 点云分类

    本文提出了一种基于自注意力和多尺度非欧几里得几何信息的插件模块 Multi-scale Geometry-aware Transformer（MGT），通过对点云数据的局部和全局几何信息的处理，成功提高了点云任务的性能表现。

    Apr, 2023

  • 面向点云理解的自定位基于点的 Transformer

    本文提出了基于自我定位的点云 Transformer（SPoTr），通过局部自我关注和基于点的全局交叉关注，使用自我定位点考虑空间和语义信息，从而捕捉局部和全局形状上下文，提高表现力，并通过小型自我定位点集计算注意力权重，从而提高了全局注意力的可扩展性。实验表明 SPoTr 在精确度和可解释性等方面的表现都很好。

    Mar, 2023

  • 区域变换器：自注意力区域基点云分割

    基于区域转换器的自我注意力机制的增长式点云分割模型优于以往的通用类和特定类方法，通过自我注意力捕捉远距离依赖关系，在训练过程中避免了对语义标签的需求，适用于灵活的点云分割，并可应用于机器人技术、数字化双生和自动驾驶等领域。

    Mar, 2024

  • 时空自注意力建模与时间补丁位移在动作识别中的应用

    本文提出一种 Temporal Patch Shift（TPS）方法，用于在 transformer 模型中对视频进行高效的三维自注意力建模，可插入到现有的二维 transformer 模型中以增强时空特征学习，该方法在计算和内存成本上比现有方法更加高效，同时在 Something-something V1＆V2、Diving-48 和 Kinetics400 上取得了与最先进水平相当的性能。

    Jul, 2022

  • 点树变换器用于点云配准

    点云配准中的局部和全局特征提取是一个常见问题。本文提出了一种名为 “Point Tree Transformer (PTT)” 的新型基于 Transformer 的方法，通过构建点云的层次特征树和引入一种新的点树注意力机制（PTA）来提取细粒度的局部和全局特征，从而有效地解决低相关性点引起的性能下降和计算复杂度过高的问题。实验证明，该方法在 3DMatch、ModelNet40 和 KITTI 数据集上取得了优越的性能。

    Jun, 2024

  • 探索自注意力在图像识别中的应用

    本文研究探索了自注意力在图像识别模型中的应用，比较了两种形式的自注意力（分别为成对自注意力和区域自注意力）与卷积神经网络在图像识别上的表现，并发现自注意力网络对于学习稳健的表征具有明显的优势。

    Apr, 2020