- MotionSC: 数据集和网络用于动态环境下实时语义映射
本研究通过创建一个新的室外数据集,解决了语义场景补全(SSC)数据的空白,该数据集通过随机采样的视图形成,通过时间步骤监督完整场景的泛化能力,并构建了实时稠密本地语义映射算法 MotionSC,该算法利用了最新的 3D 深度学习架构提高 S - AAAI语义场景补全:基于点 - 体素视角的差异化处理
本文介绍了一种名为 Semantic Scene Completion 的任务,提出了一个使用点和体素来预测 3D 场景语义和占用表示的点 - 体素聚合网络,该网络使用深度点流来高效捕捉场景中的语义信息,以及只含两个 3D 卷积层的轻量化体 - CVPR通过将实例和场景纳入环路中进行语义场景补全
该研究提出了一种双向迭代的 Scene-Instance-Scene Network(SISNet)框架,通过将实例从完成度较高的场景中分离出来进行重建,并通过迭代机制将实例信息重新整合回 3D 场景,提高了语义场景的完成准确率。
- 3D 语义场景补全:一项调查
本文综述了语义场景完整性(SSC)技术,重点分析了问题的方法和数据集,并对 SoA 在最流行的数据集上的性能进行了评估和分析。
- S3CNet: 面向 LiDAR 点云的稀疏语义场景补全网络
本文提出了 S3CNet,一种基于稀疏卷积的神经网络,从统一的 LiDAR 点云中预测语义完成场景,并在 3D 任务上取得了最先进的结果
- 利用本地深度隐函数对 LiDAR 数据进行语义场景补全
本文提出了一种新型的场景分割网络,基于本地 Deep Implicit Functions 的方法,用于语义场景补全,并将其在经过语义注释的 LiDAR 扫描上验证了其性能的优越性。
- SCFusion:基于语义完整性的实时增量场景重建
通过实时深度数据重建场景的完整三维模型存在遮挡缺失的问题。我们提出了一个基于深度图输入序列、支持实时增量和语义场景完成的框架,其中利用一种新颖的神经架构以及基于体素状态的方式来识别精确、高效的语义完成,并将其与全局三维模型相融合,从而最终达 - 用于 3D 语义场景完整性的各向异性卷积神经网络
提出了一种名为各向异性卷积的新模块,用于解决语义场景补全任务中物体或材料形状、布局和可见性变化的挑战,该模块能够在体素上进行维度各向异性的建模,通过在多个各向异性卷积模块中堆叠,进一步增强了体素模型的建模能力,在两个语义场景补全基准测试上表 - AAAI基于注意力机制的多模态融合网络用于场景语义补全
本文提出了一种名为 AMFNet 的端到端三维卷积网络,用于从单视图 RGB-D 图像推断出体积三维场景的占用和语义标签。该网络通过融合 2D 语义分割和 3D 语义完成网络的经验以及空间维度的可靠深度线索,学习同时执行有效的 3D 场景完 - CVPR基于半监督结构先验的 3D 草图感知语义场景补全
本文提出了一种基于几何学的策略来将深度信息与低分辨率体素表示相结合,通过 3D 素描感知特征嵌入编码几何信息并采用半监督先验学习策略来引导占用推理和语义标签的推断,该方案在三个公共基准测试中一致优于现有技术。
- 语义场景完成的三维门控循环融合
本文针对语义场景完成(SSC)任务中的数据融合问题进行了研究,我们提出了一种 3D 门控递归融合网络(GRFNet),其可以自适应地选择和融合来自深度和 RGB 图像的相关信息,并借助门控和记忆模块。基于单阶段融合,我们进一步提出了一种多阶 - 基于深度的语义场景完形填空与位置重要性感知损失
本文提出了基于单个深度输入的混合网络 PALNet,利用两个流提取 2D 和 3D 特征,使用细粒度深度信息有效捕获场景的上下文和几何线索,并提出了 Position Aware Loss 以确定不同位置的重要性,从而使得场景的不同部分能够 - EdgeNet: 从单个 RGB-D 图像完成语义场景
本文介绍一种新策略,通过边缘检测和翻转截断有符号距离来在 3D 空间中编码颜色信息,同时提出了 EdgeNet,一种能够处理深度和边缘信息的新型端到端神经网络结构,实验结果表明该方法相比现有技术在真实数据上提高了 6.9 % 的性能表现。
- ICCV级联上下文金字塔用于全分辨率 3D 语义场景补全
本研究提出了一种新的深度学习框架 CCNPNet,它采用级联金字塔结构模型和引导型残差细化模块,可从单张深度图像中推断出体素化 3D 场景的占用率和语义标签,并在 SUNCG 和 NYU 数据集上取得了优于现有方法的高质量 SSC 结果。
- ECCV带有空间组卷积的高效语义场景补全网络
通过空间分组卷积(SGC)来加速 3D 密集预测任务的计算。SGC 是一种与组卷积正交的方法,它作用于空间维度而不是特征通道维度。它将输入体素划分为不同的组,然后在这些分离的组上进行 3D 稀疏卷积。在进行卷积时,只有有效的体素被考虑到,因 - 从单个深度图像进行对抗性语义场景补全
本文提出了一种基于对抗学习的新型结构,可以从单个输入深度图像重建、完整和语义标识一个 3D 场景,通过使用多种对抗损失项来实现对内部特征的有效嵌入,同时保留了原始的 2.5D 结构以提高模型内部表示的效果。
- 利用色彩和深度的语义场景完整性:初步实验
本文研究以 RGB 彩色通道提升 SSCnet 在场景补全和语义标签方面的表现
- 来自单个深度图像的语义场景补全
本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务,提出了一种端到端三维卷积神经网络 SSCNet,该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地