适应性点变换器
本文提出了一种新的方法,将点云补全问题转化为集合转换问题,并设计了一种名为 PoinTr 的新模型,采用 Transformer 编码器 - 解码器架构进行点云补全。通过将点云表示为带有位置嵌入的无序点组的集合,我们将输入数据转换为点代理的序列,并使用 Transformer 进行生成。为了更好地利用点云的 3D 几何结构的归纳偏差,我们进一步设计了一个几何感知块,以显式模拟本地几何关系。我们还进一步提出了 AdaPoinTr,并在点云完成期间开发了自适应查询生成机制和新颖的去噪任务,实现了模型的高效和有效训练。我们还展示了我们的方法可以扩展到场景级点云完成方案,并设计了一种新的几何增强语义场景完成框架。我们的方法在现有和新提出的数据集上进行了大量实验证明其有效性,获得了 6.53CD 的 PCN,0.81CD 的 ShapeNet-55 和 0.392MMD 的真实 KITTI,在各种基准测试中均超过了其他工作,并建立了新的技术水平。值得注意的是,AdaPoinTr 可以以更高的吞吐量和更少的 FLOP 实现如此令人满意的性能,而不像以前的最佳方法。
Jan, 2023
该论文通过利用规模优势,在点云处理中解决了准确性和效率之间的权衡问题,提出了一种简单高效的 Point Transformer V3 模型,并在多个室内外场景的 20 个下游任务中取得了最先进的结果。
Dec, 2023
本文提出了一种新颖的点云表示学习架构,称为 Dual Transformer Network (DTNet),该架构主要包括一个 Dual Point Cloud Transformer (DPCT) 模块,该模块通过同时聚合点和通道的多头注意力机制,从位置和通道的语义角度捕获更丰富的上下文依赖性,有效地实现了三维点云分类和分割任务中的终端到终端分析。
Apr, 2021
提出了 PointGPT 方法来扩展 GPT 模型到点云中进行自回归生成任务的预训练,其通过多个点序列来实现学习潜在的表示,并在各种下游任务中实现了最先进的性能,特别是在 few-shot 学习方面也产生了新的 state-of-the-art 结果。
May, 2023
本文提出了一种新颖的框架,名为点云 Transformer(PCT),它是基于 Transformer 的,并在点云学习方面具有很好的性能。为了更好地捕获点云中的局部信息,我们利用最远点采样和最近邻搜索增强输入嵌入。实验结果表明,PCT 在形状分类、部分分割和法向估计任务中取得了最优性能。
Dec, 2020
点云配准中的局部和全局特征提取是一个常见问题。本文提出了一种名为 “Point Tree Transformer (PTT)” 的新型基于 Transformer 的方法,通过构建点云的层次特征树和引入一种新的点树注意力机制(PTA)来提取细粒度的局部和全局特征,从而有效地解决低相关性点引起的性能下降和计算复杂度过高的问题。实验证明,该方法在 3DMatch、ModelNet40 和 KITTI 数据集上取得了优越的性能。
Jun, 2024
本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法,用于对大型 3D 场景进行处理和提高计算效率,并应用于 3D 语义分割和 3D 检测,具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。
Dec, 2021
本文首次提供了深入的视角,从多个方面分类当前基于 Transformer 框架的方法,针对自注意机制的变体和改进进行了探究,并在分类、分割、目标检测等方面进行了综合对比,最后提出了三个潜在的研究方向,为 3D Transformers 的发展提供了有益参考。
May, 2022
本文的目标是研究点云分析中的参数高效迁移学习,以在任务性能和参数效率之间取得理想的平衡,通过冻结默认预训练模型的参数,并使用动态适配器和提示调整相结合的方法,捕捉每个标记的重要程度,要点功能以及实例特定特征的交互。通过在五个具有挑战性的数据集上进行的实验表明,所提出的方法在明显减少可训练参数和训练 GPU 存储空间(分别减少 95%和 35%) 的同时,实现了优于完全微调对应方法的性能。
Mar, 2024
提出了一种高效的基于 DTA 的前向(DTA-Former)方法,用于点云表示和处理,通过逐渐优化令牌的语义特征和语义关系,实现了在模型 Net40,ShapeNet 和航空多光谱 LiDAR(MS-LiDAR)数据集上超越先前点变换器的 SOTA 性能 30 倍更快。
May, 2024