本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务,提出了一种端到端三维卷积神经网络 SSCNet,该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明,该联合模型比各自解决每个任务的方法表现更好,并且在语义场景完成任务上优于替代方法。
Nov, 2016
本研究旨在探讨利用生成对抗网络进行三维场景填充的潜力与效率,并通过几个数据集的实验验证了这种模型优于传统三维卷积神经网络在一定程度具有对齐的数据集内。
May, 2019
本文研究以 RGB 彩色通道提升 SSCnet 在场景补全和语义标签方面的表现
Feb, 2018
本文介绍一种新策略,通过边缘检测和翻转截断有符号距离来在 3D 空间中编码颜色信息,同时提出了 EdgeNet,一种能够处理深度和边缘信息的新型端到端神经网络结构,实验结果表明该方法相比现有技术在真实数据上提高了 6.9 % 的性能表现。
Aug, 2019
本文提出了一种基于几何学的策略来将深度信息与低分辨率体素表示相结合,通过 3D 素描感知特征嵌入编码几何信息并采用半监督先验学习策略来引导占用推理和语义标签的推断,该方案在三个公共基准测试中一致优于现有技术。
Mar, 2020
本文提出了一种基于对抗学习的新型结构,可以从单个输入深度图像重建、完整和语义标识一个 3D 场景,通过使用多种对抗损失项来实现对内部特征的有效嵌入,同时保留了原始的 2.5D 结构以提高模型内部表示的效果。
Oct, 2018
本文提出了一种新的端到端模型,以 RGB 和稀疏深度为输入,联合执行语义分割和深度完成,通过实验表明将语义分割和深度完成结合在一个多任务网络中可以有效提高每个任务的性能。
Sep, 2022
通过实时深度数据重建场景的完整三维模型存在遮挡缺失的问题。我们提出了一个基于深度图输入序列、支持实时增量和语义场景完成的框架,其中利用一种新颖的神经架构以及基于体素状态的方式来识别精确、高效的语义完成,并将其与全局三维模型相融合,从而最终达到精准高效的三维语义场景完整。
Oct, 2020
本文提出了一种基于 2D-CNN 和多模态网络架构的点云语义分割方法,将点云数据投影到 2D 平面,避免了 3D-CNN 方法中立方体体素化降低空间分辨率和增加内存消耗的限制,并在 Semantic3D 数据集上达到了相对增益 7.9%的最新最佳结果。
May, 2017
提出了一种基于单个编码器和三个独立生成器的新型模型,用于从单个深度图像中进行三维语义完形填空,旨在实现对原始场景和完整场景的不同几何和语义表示的重构,在模型内引入连接它们之间的路径,在相应的网络层级上连接特征,以实现信息传输,并构建了一个新的训练数据集,包括遮挡和真实噪声,在标准基准上演示了我们的方法对语义三维场景和三维物体完成的好处。
Sep, 2019