Dec, 2019

基于多模态注意力融合的 RGB - 深度图像语义分割模型

PDF
TL;DR本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。
3d scene understandingsemantic segmentationrgb-d imagesfusion strategiesattention-based fusion model
发现论文，激发创造
  • 面向高效 RGB-D 语义分割的空间信息引导自适应上下文感知网络

    提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块，用于在移动机器人中进行 RGB-D 语义分割，通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征，实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。

    Aug, 2023

  • 基于融合网络的亮度、深度和颜色信息用于语义分割

    本文提出了一种名为 LDFNet 的新型解决方案，通过融合网络来综合利用亮度，深度和颜色信息，以提高 RGB-D 语义分割任务的性能，实验表明其潜力和适用性

    Sep, 2018

  • 基于注意力机制的多模态融合网络用于场景语义补全

    本文提出了一种名为 AMFNet 的端到端三维卷积网络，用于从单视图 RGB-D 图像推断出体积三维场景的占用和语义标签。该网络通过融合 2D 语义分割和 3D 语义完成网络的经验以及空间维度的可靠深度线索，学习同时执行有效的 3D 场景完成和语义分割，验证表明在合成 SUNCG-RGBD 数据集和真实 NYUv2 数据集上都取得了明显的优越性。

    Mar, 2020

  • 光学和场景流的注意力多模态融合

    通过使用深度神经网络，并在不同的网络级别中应用自注意力机制以及交叉注意力机制，我们提出了一种名为 FusionRAFT 的方法，实现了早期传感器模态（RGB 和深度）之间的信息融合，以解决 RGB 信息不可靠的问题，在主动配准中取得了比最近方法更好的性能。

    Jul, 2023

  • 语义场景完成的三维门控循环融合

    本文针对语义场景完成（SSC）任务中的数据融合问题进行了研究，我们提出了一种 3D 门控递归融合网络（GRFNet），其可以自适应地选择和融合来自深度和 RGB 图像的相关信息，并借助门控和记忆模块。基于单阶段融合，我们进一步提出了一种多阶段融合策略，并在两个基准数据集上进行了广泛的实验，证明了所提出的 GRFNet 在 SSC 中的数据融合方面具有卓越的性能和有效性。

    Feb, 2020

  • 室内语义分割使用深度信息

    采用多尺度卷积神经网络直接从图像和深度信息中学习特征实现室内场景的多类别分割，并在 NYU-v2 深度数据集上取得了 64.5% 的准确率，充分说明了适当的硬件（如 FPGA）可以实现实时处理。

    Jan, 2013

  • 学习选择性互注意力和对比度用于 RGB-D 显著性检测

    本文旨在解决如何有效地融合 RGB-D 信息来进行显著目标检测的关键问题。通过提出一个新的互惠关注模型来融合来自不同模态的注意力和上下文信息，实现高阶和三线性交叉信息互补，从而提高 RGB-D SOD 的模型性能。同时，通过添加选择性关注来重新加权深度相关信息，提高模型的鲁棒性。在两个数据集上的实验验证了该模型的有效性。

    Oct, 2020

  • SemSegDepth: 一种联合模型用于语义分割和深度完善

    本文提出了一种新的端到端模型，以 RGB 和稀疏深度为输入，联合执行语义分割和深度完成，通过实验表明将语义分割和深度完成结合在一个多任务网络中可以有效提高每个任务的性能。

    Sep, 2022

  • 揭示深度：一种多模态融合框架用于挑战场景

    本文提出了一种新颖的方法，通过学习框架，识别和整合主导的跨模态深度特征，独立计算粗略深度图，并使用置信度损失和多模态融合网络进行端到端的深度估计，从而在各种困难情景中展示了鲁棒的深度估计能力。

    Feb, 2024

  • 具有隔离 - 聚合门的 RGB-D 语义分割的双向跨模态特征传播

    本文提出了一种统一且高效的跨模态引导编码器，通过分离 - 聚合门技术，不仅可以有效地校准 RGB 特征响应，而且可以通过多个阶段和交替聚合两个重新校准的表示来提取准确的深度信息，同时引入双向多步传播策略来提高 RGB-D 语义分割性能.

    Jul, 2020