ASAP-Net: 基于注意力和结构的点云序列分割
本文提出使用 Feature Fusion with Different Norms (FFDN),利用多重尺度的丰富全局上下文信息和垂直池化模块来减少在垂直方向上全局上下文编码的复杂度。在城市风景测试数据集上,平均交互并集(mIoU)为 73.1,每秒帧数(FPS)为 191,与目前最先进的结果相当。
Oct, 2022
本文提出了一种基于锚点的时空关注的 3D 卷积操作(ASTA3DConv)来处理动态 3D 点云序列,建立了 Anchor-based Spatio-Temporal Attention 3D 卷积神经网络 (ASTA3DCNNs) 进行分类和分割任务。在实验中,该方法在 MSRAction3D 和 Synthia 数据集上展现了出色的性能和有效性,并取得了动态 3D 点云序列作为输入的最新性能。
Dec, 2020
本文采用多帧点云视频中的时间信息来探测 3D 物体。研究者们提出了一种名为 GMPNet 的格网信息传递网络来编码短期时间信息,并提出了一个名为 AST-GRU 的基于注意力的时空变换 GRU 来进一步聚合长期帧。在 NuScenes 基准测试中,该方法表现优异,且不需要任何额外的手段。
Jul, 2022
室内 3D 点云数据的语义理解对于室内服务机器人、导航系统和数字孪生工程等一系列后续应用非常重要。我们提出了一种名为 JSMNet 的方法,它结合了多层网络和全局特征自注意力模块,共同分割三维点云的语义和实例。通过设计了一个多分辨率特征自适应融合模块,以考虑由于传感器距目标的距离不同而导致的点云密度差异,更好地表达了室内目标的特性。此外,我们提出了一种联合语义和实例分割的框架,通过整合语义和实例特征实现更优的结果。我们在 S3DIS 上进行了实验证明,我们的方法与其他方法进行了比较,结果显示在语义和实例分割以及目标局部区域分割方面,我们的方法优于现有方法。具体而言,在 S3DIS(Area 5)的语义分割 mIoU 方面,我们的方法在 PointNet (Qi et al., 2017a) 上表现优异,提高了 16.0%,在实例分割 mPre 方面提高了 26.3%。此外,在语义分割 mIoU 方面,我们的方法超过了 ASIS (Wang et al., 2019) 6.0% 和 JPSPNet (Chen et al., 2022) 3.3%,在实例分割 mPre 方面略微提高了 0.3%。
Sep, 2023
本研究提出了一个有效而轻量化的点云序列模型,能够在 3D 动作识别方面实现较高的准确性和效率,主要包括点云序列数据扁平化和超点序列混合等方法。实验证明,该模型在速度和效果方面均优于现有模型。
Nov, 2021
我们专注于城市场景点云的语义分割方法,提出了一种名为 APNet 的网络架构,利用不同上下文信息和网络架构的协同利用,将点云分支和航空影像分支进行几何感知融合,以达到数据融合的最佳性能。实验证明,融合模块的输出始终优于各个网络分支的结果,并且 APNet 在 SensatUrban 数据集上取得了 65.2 的 mIoU 的最新性能。
Sep, 2023
本研究提出了一种名为 Point2Sequence 的新型深度学习模型,用于学习 3D 形状特征,通过一种新颖的隐式方法捕捉了区域内的细粒度上下文信息, Point2Sequence 采用点云的新颖序列学习模型,通过注意力归纳局部区域的多尺度范围来捕获相关性,实验结果在形状分类和分割任务中取得了最优表现。
Nov, 2018
针对 3D 点云的分割问题,我们提出了一种新的点云分割框架,该框架能有效地优化整个场景的像素级特征,几何结构和全局上下文先验。实验结果表明,该方法优于现有的一些最先进的方法,并探讨了在三维重建场景中合成相机姿态以获得更高的性能。
Aug, 2019
提出一种端到端学习网络,用于预测点云序列中的未来帧,其中网络以点云的拓扑信息作为几何特征学习初始层,形成代表性的时空邻域,在多个 Graph-RNN 单元中学习点的动态(即 RNN 状态),并与时空邻近点一起处理。测试结果表明,我们的方法在忽略几何特征信息的基准线方法上表现出色,应用于包括 MINST 运动数字、合成人体动作和 JPEG 动态人体数据集的预测中。
Feb, 2021