Jean Lahoud, Bernard Ghanem, Marc Pollefeys, Martin R. Oswald
TL;DR提出了一种多任务学习策略来解决三维实体标记问题，该方法可以 accurately separate 连通的和扫描不完整的对象，实验表明该方法在 ScanNet 数据集上实现了最先进的性能。
Abstract
We propose a novel method for instance label segmentation of dense 3D voxel
grids. We target volumetric scene representations, which have been acquired
with depth sensors or multi-view stereo methods and which ha
本文提出了一种新颖的面向实例的方法，用于 3D 语义分割，通过结合几个在实例级别监督的几何处理任务来促进学习到的特征表示的一致性，具体方法使用形状生成器和形状分类器来执行每个形状实例的形状重建和分类任务，从而使特征表示能够忠实地编码结构和局部形状信息，并意识到形状实例。在实验中，我们的方法在多个公共基准数据集（如 Waymo Open Dataset、SemanticKITTI 和 ScanNetV2）上明显优于现有的 3D 语义分割方法。
我们介绍了一种在线的二维到三维语义实例映射算法，旨在生成适用于非结构化环境中的自主代理的全面、准确且高效的语义三维地图。该方法基于最近算法中使用的 Voxel-TSDF 表示，引入了在映射过程中集成语义预测置信度的新方法，产生了语义和实例一致的三维区域。通过基于图优化的语义标记和实例细化，进一步提高了准确性。该方法在公共大规模数据集上的准确性优于现有技术，改进了一些广泛使用的度量标准。我们还指出了最近研究评估中的一个问题：使用真实轨迹作为输入而不是 SLAM 估计的轨迹，这对准确性产生了重大影响，导致了报告结果与实际在实际数据上的性能之间存在很大差距。