OctFormer: 三维点云的基于八叉树的Transformer模型
本篇论文介绍了一种新型编码器PointPillars,该编码器可以将点云转为适合下游检测通道的格式,可应用于众多机器人应用中的物体检测,证明其在速度和准确性上都优于现有编码器,可优化无人驾驶等应用领域。
Dec, 2018
本文提出了一种基于八叉树引导的神经网络结构和球形卷积核来进行任意3D点云的机器学习。该网络架构充分利用了不规则点云的稀疏性,并通过空间划分分层粗化数据表示。同时,该提议的球形核有系统地量化点邻域,以识别数据中的局部几何结构,同时保持平移不变性和不对称性。我们利用与空间位置相关联的网络神经元来指定球形核,从而避免了网络训练期间动态核生成,以实现高分辨率点云的高效学习,并在3D对象分类和分割的基准任务上取得了新的最先进状态,分别在ShapeNet和RueMonge2014数据集上。
Feb, 2019
本文提出了一种基于Octree结构的多上下文深度学习框架OctAttention,通过对兄弟和祖先节点信息的聚合来实现对点云分布的无损编码,用于进行点云的压缩和语义分割等处理,在仿真和真实场景验证中都显示出较高的性能和效率。
Feb, 2022
本文提出了一种针对3D目标检测的模型Sparse Window Transformer(SWFormer),它能够充分利用点云数据的稀疏性,并通过“桶”技术对不同长度的稀疏窗口有效地进行处理。在Multi-scale特征融合和窗口偏移操作的基础上,作者还引入了新的体素扩散技术。最终,在Waymo Open Dataset上的实验结果表明,SWFormer相比于所有先前的单阶段和两阶段模型,取得了最新的73.36 L2 mAPH表现,同时更加高效。
Oct, 2022
FlatFormer是一种3D点云变压器网络,通过交换计算负荷和提取局部特征以实现节省计算时间的效果,在边缘GPU上实现了实时性能,并在大规模基准测试上达到与或甚至更好的准确性。
Jan, 2023
本文介绍了一种名为OcTr的基于八叉树的Transformer方法,通过动态构建八叉树从而实现对远距离或/和遮挡物体的有效检测,进一步提出了一种混合位置编码方法以增强前景感知,实验表明OcTr方法在Waymo开放数据集和KITTI数据集上均取得了最新的最佳结果。
Mar, 2023
本文综述了现有的三维点云分析技术及其算法、应用场景和目标,介绍了使用的数据集和评估指标,并比较了现有解决方案的性能,最后分析了当前技术面临的挑战和吸引人们注意的未来趋势。
Jun, 2023
提出了一种点云压缩框架,可以同时处理人类视觉和机器视觉任务,并通过使用自适应的八叉树深度级别预测器来控制位速,以提高机器视觉任务的性能,而不影响人类视觉质量。
Jun, 2024
本文试图利用预训练的2D模型直接处理3D点云数据,并提出了Adaptive PointFormer(APF)模型,通过维度对齐和序列化点嵌入,优化2D注意力先验的利用,以实现对3D点云的分析任务。
Jul, 2024
本研究解决了从稀疏或嘈杂数据中恢复密集且均匀分布的点云这一重大挑战。提出了一种简单高效的方法,通过对现有的八叉树3D U-Net进行小幅修改,实现了在单个网络中同时进行点云的上采样和清理,显著提高了推理速度和效率,并在多项基准测试中达到先进性能。这一方法旨在为点云处理设计提供新的视角与基础。
Oct, 2024