Feb, 2020

语义场景完成的三维门控循环融合

PDF
TL;DR本文针对语义场景完成（SSC）任务中的数据融合问题进行了研究，我们提出了一种 3D 门控递归融合网络（GRFNet），其可以自适应地选择和融合来自深度和 RGB 图像的相关信息，并借助门控和记忆模块。基于单阶段融合，我们进一步提出了一种多阶段融合策略，并在两个基准数据集上进行了广泛的实验，证明了所提出的 GRFNet 在 SSC 中的数据融合方面具有卓越的性能和有效性。
data fusionsemantic scene completiongrfnetrgb imagesdepth images
发现论文，激发创造
  • 基于注意力机制的多模态融合网络用于场景语义补全

    本文提出了一种名为 AMFNet 的端到端三维卷积网络，用于从单视图 RGB-D 图像推断出体积三维场景的占用和语义标签。该网络通过融合 2D 语义分割和 3D 语义完成网络的经验以及空间维度的可靠深度线索，学习同时执行有效的 3D 场景完成和语义分割，验证表明在合成 SUNCG-RGBD 数据集和真实 NYUv2 数据集上都取得了明显的优越性。

    Mar, 2020

  • 利用色彩和深度的语义场景完整性：初步实验

    本文研究以 RGB 彩色通道提升 SSCnet 在场景补全和语义标签方面的表现

    Feb, 2018

  • 基于多模态注意力融合的 RGB - 深度图像语义分割模型

    本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

    Dec, 2019

  • 来自单个深度图像的语义场景补全

    本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务，提出了一种端到端三维卷积神经网络 SSCNet，该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明，该联合模型比各自解决每个任务的方法表现更好，并且在语义场景完成任务上优于替代方法。

    Nov, 2016

  • 基于 RGBD 的维度分解残差网络用于 3D 语义场景完成

    本研究提出了一种轻量级的三维密集预测任务算法 ——Dimensional Decomposition Residual network (DDR)，该网络使用分解卷积层和多尺度融合机制来提高三维场景补全和语义分割速度和准确率，与最新的同类型算法 SSCNet 相比，我们只使用了 SSCNet 网络参数的 21%，计算量的 16.6%，但在 SC-IoU 和 SSC-IoU 上分别提升了 5.9% 和 5.7%。

    Mar, 2019

  • SLCF-Net: 基于 3D 循环 U-Net 的顺序式激光雷达 - 摄像机融合的语义场景补全

    SLCF-Net 是一种新颖的方法，通过顺序融合 LiDAR 和相机数据来进行语义场景补全任务，从 RGB 图像序列和稀疏的 LiDAR 测量中联合估计场景中的缺失几何和语义信息，通过预训练的 2D U-Net 对图像进行语义分割，并从基于深度的 Depth Anything 中估计密集的深度先验，利用高斯衰减深度先验投影将 2D 图像特征投射到 3D 场景体积中，并使用 3D U-Net 计算体积语义，通过传感器运动传播隐藏的 3D U-Net 状态，并设计了一种新的损失函数以确保时间一致性，在 SemanticKITTI 数据集上评估我们的方法并与领先的语义场景补全方法进行比较，结果表明 SLCF-Net 在所有的语义场景补全指标上表现出色，并展示出很好的时间一致性。

    Mar, 2024

  • SCFusion：基于语义完整性的实时增量场景重建

    通过实时深度数据重建场景的完整三维模型存在遮挡缺失的问题。我们提出了一个基于深度图输入序列、支持实时增量和语义场景完成的框架，其中利用一种新颖的神经架构以及基于体素状态的方式来识别精确、高效的语义完成，并将其与全局三维模型相融合，从而最终达到精准高效的三维语义场景完整。

    Oct, 2020

  • 基于平衡的 RGB-TSDF 融合方法用于一致的语义场景补全：通过 3D RGB 特征补全与按类别分的熵损失函数

    基于 RGB-TSDF 融合的 3D 场景补全方法中存在局部密度差异的问题以及不一致性，本文提出了一个两阶段网络，包括一个 3D RGB 特征补全模块用来处理 RGB 特征在 3D 空间中的稀疏性问题，并且引入了一个有效的类内熵损失函数来惩罚不一致性，实验证明本文方法在不使用额外数据的情况下可以获得最先进的性能。

    Mar, 2024

  • 室内深度补全的 RGB-Depth 融合 GAN

    本文提出了一种基于深度信息补全技术，使用 RGB 图像和不完整的深度图像进行输入，设计了一种新的两支分支端对端融合网络，其中一个支路使用编码器 - 解码器结构从原始深度图中对局部密集深度值进行回归，另一个分支提出了一种 RGB 深度融合 GAN，通过自适应融合模块和置信度融合头来融合这两个分支的输出，从而实现了对室内环境中丢失深度数据的精确补全。

    Mar, 2022

  • 室内深度填充的 RGB - 深度融合 CycleGAN (RDFC-GAN)

    使用 RDFC-GAN 模型基于 Manhattan world 假设将 RGB-D 信息转换为具有高纹理的深度图，并通过自适应融合模块 W-AdaIN 和 confidence fusion head 来解决室内深度图中大量连续缺失数据的深度完成问题。

    Jun, 2023