Nov, 2020

点变换器

PDF
TL;DR该研究介绍了一种名为 Point Transformer 的神经网络，它直接处理无序和无结构的点集，通过引入局部 - 全局注意机制获取局部和全局特征，并通过引入 SortNet 确保输入置换不变性。Point Transformer 的输出是一个排序并且置换不变的特征列表，可直接用于常见的计算机视觉应用。研究结果表明，与先前的工作相比，其在标准分类和部分分割基准测试中具有有竞争力的结果。
point transformerneural networkpoint setslocal-global attention mechanismcomputer vision
发现论文，激发创造
  • 快速点变换器

    本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

    Dec, 2021

  • Point Transformer V2: 分组向量注意力与基于分区的池化

    本研究致力于探索 3D 点云理解的 transformer 架构，提出了一种有效的 Point Transformer V2 模型，通过对先前工作的局限性进行分析， 提出了一种具有新颖设计的 group vector attention、轻量级的基于分区的池化方法等，实现了更好的性能表现并刷新了几个具有挑战性的 3D 点云理解基准结果。

    Oct, 2022

  • 点变形器的迁移学习

    基于 Point Transformers 模型的分类性能在 ModelNet10 数据集上表现良好，并在 fine-tuning 后用于 3D MNIST 数据集分类，在这种情况下，迁移学习模型没有超过基于 3D MNIST 数据集从头开始训练的模型，虽然我们预期迁移学习模型收敛更快，因为它们已经了解了 ModelNet10 数据集中的边缘、角点等低层特征。

    Apr, 2024

  • Set Transformer: 基于注意力机制的置换不变神经网络框架

    介绍了一种解决多实例学习和 3D 形状识别等问题的神经网络模型 Set Transformer，该模型使用注意力机制来模拟输入集合中元素之间的交互，并且引入了一种减少计算复杂度的基于诱导点的注意力方案，实验结果表明，在处理集合结构数据时，该模型具有比其他最新方法更高的性能表现。

    Oct, 2018

  • GTNet：用于 3D 点云分类和语义分割的图形变换网络

    该研究提出了一个名为 Graph Transformer 的新特征提取模块，它能够在局部和全局模式下学习点云特征。该模块将基于图形和变压器的方法的优点相结合，并包括局部变换器和全局变换器模块。在此基础上，构建了一个 3D 点云网络 GTNet，可以用于形状分类、部分分割和语义分割任务。

    May, 2023

  • Tensorformer: 高质量点云重建的归一化矩阵注意力变换器

    通过引入新的矩阵关注 Transformer（Tensorformer）来实现更好的局部几何建模和更高质量的表面重建，成果在两个常用的数据集上均已超越同行，并在 ShapeNet 上取得 4％的 IOU 改进。

    Jun, 2023

  • 面向点云理解的自定位基于点的 Transformer

    本文提出了基于自我定位的点云 Transformer（SPoTr），通过局部自我关注和基于点的全局交叉关注，使用自我定位点考虑空间和语义信息，从而捕捉局部和全局形状上下文，提高表现力，并通过小型自我定位点集计算注意力权重，从而提高了全局注意力的可扩展性。实验表明 SPoTr 在精确度和可解释性等方面的表现都很好。

    Mar, 2023

  • Pointformer 进行的 3D 物体检测

    本文提出了一种 3D 点云特征学习模型 Pointformer，其中使用局部和全局 Transformer 模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显著的性能提升。

    Dec, 2020

  • 基于 Transformer 的归纳偏置在点云分类和分割中的应用

    本研究提出使用 Inductive Bias-aided Transformer（IBT）方法来学习点之间的 3D 联系，以增强自我关注机制，从而改善点云的分类和分割任务。

    Apr, 2023

  • 3D 医学点变换：为医学点云分析引入卷积到注意力网络

    本篇文章提出了一种特定于医用点云的基于注意力机制的 3D 医用点云 Transformer (3DMedPT) 模型，通过增加上下文信息和在查询时总结局部响应，可以捕捉局部和全局特征交互，同时应用位置嵌入学习准确的局部几何形状和多图推理 (MGR) 来丰富特征表示，在医用数据上的实验表明该方法的分类和分割能力优于其他方法，并且具有良好的泛化能力。

    Dec, 2021