Sep, 2019

ForkNet: 单深度图多分支体积语义补全

PDF
TL;DR提出了一种基于单个编码器和三个独立生成器的新型模型，用于从单个深度图像中进行三维语义完形填空，旨在实现对原始场景和完整场景的不同几何和语义表示的重构，在模型内引入连接它们之间的路径，在相应的网络层级上连接特征，以实现信息传输，并构建了一个新的训练数据集，包括遮挡和真实噪声，在标准基准上演示了我们的方法对语义三维场景和三维物体完成的好处。
发现论文，激发创造
  • 来自单个深度图像的语义场景补全

    本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务，提出了一种端到端三维卷积神经网络 SSCNet，该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明，该联合模型比各自解决每个任务的方法表现更好，并且在语义场景完成任务上优于替代方法。

    Nov, 2016

  • 从单个深度图像进行对抗性语义场景补全

    本文提出了一种基于对抗学习的新型结构，可以从单个输入深度图像重建、完整和语义标识一个 3D 场景，通过使用多种对抗损失项来实现对内部特征的有效嵌入，同时保留了原始的 2.5D 结构以提高模型内部表示的效果。

    Oct, 2018

  • 从单个视角深度学习的全 3D 物体补全

    通过结合深度卷积神经网络体系结构和自编码器，从深度图中隐含学习 3D 几何特征，大大提高了新方法的重建准确度，并使其适用于实时应用。

    Aug, 2018

  • 从单张深度图实现语义场景补全的视点网络

    本文介绍了一种名为 VVNet 的卷积神经网络，可从单个深度图像中推断出体积三维场景的占用率和语义标签，VVNet 有效地降低了计算成本，提高了结果的准确性。

    Jun, 2018

  • 使用对抗训练从单个深度图像完成 3D 语义场景

    本研究旨在探讨利用生成对抗网络进行三维场景填充的潜力与效率，并通过几个数据集的实验验证了这种模型优于传统三维卷积神经网络在一定程度具有对齐的数据集内。

    May, 2019

  • EdgeNet: 从单个 RGB-D 图像完成语义场景

    本文介绍一种新策略，通过边缘检测和翻转截断有符号距离来在 3D 空间中编码颜色信息，同时提出了 EdgeNet，一种能够处理深度和边缘信息的新型端到端神经网络结构，实验结果表明该方法相比现有技术在真实数据上提高了 6.9 % 的性能表现。

    Aug, 2019

  • 双流三维语义场景补全

    本文提出一种两流方法，结合深度信息和从 RGB 图像推断出的语义信息，利用 3D CNN 推断出完整的 3D 语义张量进行场景补全，该方法远优于目前的最新技术。

    Apr, 2018

  • SemSegDepth: 一种联合模型用于语义分割和深度完善

    本文提出了一种新的端到端模型，以 RGB 和稀疏深度为输入，联合执行语义分割和深度完成，通过实验表明将语义分割和深度完成结合在一个多任务网络中可以有效提高每个任务的性能。

    Sep, 2022

  • SemAttNet: 基于注意力的语义感知引导深度完成

    本文提出一种新的三支架构解决深度补全问题，其中包括颜色导向的、语义导向的和深度导向的分支；同时使用基于多模态注意力融合的方法来融合三支架构，从 RGB 图像、稀疏深度图和语义图中预测出密集深度图。经过广泛的实验证明，在 KITTI 深度补全基准测试中取得了最先进的性能。

    Apr, 2022

  • SCFusion：基于语义完整性的实时增量场景重建

    通过实时深度数据重建场景的完整三维模型存在遮挡缺失的问题。我们提出了一个基于深度图输入序列、支持实时增量和语义场景完成的框架，其中利用一种新颖的神经架构以及基于体素状态的方式来识别精确、高效的语义完成，并将其与全局三维模型相融合，从而最终达到精准高效的三维语义场景完整。

    Oct, 2020