Mar, 2024

FBPT：一个完全二进制的点转换器

PDF
TL;DR本论文提出了一种新颖的全二进制点云 Transformer（FBPT）模型，可以在机器人和移动设备领域得到广泛应用和扩展。通过将 32 位全精度网络的权重和激活压缩为 1 位二进制值，提出的二进制点云 Transformer 网络大幅减少了点云处理任务中神经网络模型的存储占用和计算资源要求。然而，实现全二进制点云 Transformer 网络（除了特定于任务的模块外其他部分均为二进制）在量化 Q、K、V 和自注意力模块中的激活时面临挑战和瓶颈，因为它们不符合简单的概率分布，并且可以随输入数据变化。本文主要关注解决二进制点云 Transformer 模块使用引起的性能下降问题，提出了一种名为动态 - 静态混合化的新型二值化机制，结合整体网络模型的静态二值化和数据敏感性组件的细粒度动态二值化方法。此外，我们还采用了新颖的分层训练方案来获得最佳模型和二值化参数。这些改进使得所提出的二值化方法在点云 Transformer 结构中优于应用于卷积神经网络的二值化方法。为了证明我们算法的优越性，我们在两个不同的任务上进行了实验：点云分类和位置识别。
fully binary point cloud transformerbinarizationpoint cloud processingdynamic-static hybridizationhierarchical training scheme
发现论文，激发创造
  • 快速点变换器

    本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

    Dec, 2021

  • 点云分析的双变换器

    本文提出了一种新颖的点云表示学习架构，称为 Dual Transformer Network (DTNet)，该架构主要包括一个 Dual Point Cloud Transformer (DPCT) 模块，该模块通过同时聚合点和通道的多头注意力机制，从位置和通道的语义角度捕获更丰富的上下文依赖性，有效地实现了三维点云分类和分割任务中的终端到终端分析。

    Apr, 2021

  • BiPointNet: 针对点云的二元神经网络

    本文提出了一种针对点云运算的模型二值化方法 BiPointNet，该方法引入了 Entropy-Maximizing Aggregation 和 Layer-wise Scale Recovery 来解决聚合引起的特征同质化和尺度失真问题，并在多个基本任务和主流骨干网络上实现了显著的改善，且在实际应用中取得了显著的性能提升效果，包括 14.7 倍的加速和 18.9 倍的存储节省。

    Oct, 2020

  • BP-Transformer：通过二分法建模长距离语境

    本文提出了一种基于多尺度跨度和二进制分多方式的 BP-Transformer 模型，该模型在处理长文本时性能优于之前的自注意力模型。

    Nov, 2019

  • 基于点云的三维深度学习 VTPNet

    本文提出了一种 Voxel-Transformer-Point（VTP）块，结合了体素法，基于点的 Transformer 法和基于点的方法，分别从粗粒度、局部和全局角度提取点云的特征，并使用其构建 VTPNet 用于 3D 点云学习，在多个数据集上都表现出良好的性能。

    May, 2023

  • BiPFT: 使用低秩估计二值化残差多项式的二值先预训练基础 Transformer

    首次提出了二元预训练基础模型转换器 (BiPFT) 用于自然语言理解任务，极大地节省了计算和内存资源，并通过对二值神经网络 (BNNs) 进行大规模预训练数据驱动的二值化方法，提高了学习能力，具备了 15.4% 优越的综合性能。

    Dec, 2023

  • BiViT: 二值化视觉转换器的极度压缩

    本研究提出了针对视觉 Transformers 的二值化方法，其中包括了对 softmax attention 的优化，采用 Cross-layer Binarization 和引入可学习的通道缩放因子等技巧，最终实现了在 TinyImageNet 和 ImageNet 中超越现有技术并取得最佳效果。

    Nov, 2022

  • 点树变换器用于点云配准

    点云配准中的局部和全局特征提取是一个常见问题。本文提出了一种名为 “Point Tree Transformer (PTT)” 的新型基于 Transformer 的方法，通过构建点云的层次特征树和引入一种新的点树注意力机制（PTA）来提取细粒度的局部和全局特征，从而有效地解决低相关性点引起的性能下降和计算复杂度过高的问题。实验证明，该方法在 3DMatch、ModelNet40 和 KITTI 数据集上取得了优越的性能。

    Jun, 2024

  • 基于点云的三维单目标跟踪的点轨变换模块（Point-Track-Transformer）

    本篇研究文章提出基于点云的 3D 单目标跟踪的 Transformer 模块 Point-Track-Transformer（PTT），其包含特征嵌入，位置编码和自注意力模块等三个模块，将该模块应用到现有的 P2B 方法上构建出 PTT-Net，并在 KITTI 数据集上实验表明，该模型较现有方法提升了约 10％左右的性能，并实现了实时性能（~40FPS）。

    Aug, 2021

  • 点变换器 V3：更简单、更快、更强

    该论文通过利用规模优势，在点云处理中解决了准确性和效率之间的权衡问题，提出了一种简单高效的 Point Transformer V3 模型，并在多个室内外场景的 20 个下游任务中取得了最先进的结果。

    Dec, 2023