MMMar, 2018

室内场景标记的多模态循环神经网络与信息传递层

PDF
TL;DR提出了一种新的多模态递归神经网络方法 (Multimodal RNNs) 用于 RGB-D 场景语义分割，它同时优化两个递归神经网络模型的训练，各自从自己以及另外一个模型的传递模式中学习特征，以提取相关的跨模态信息特征，实现了在 RGB 和深度图像数据上的显著优化和竞争性结果。
multimodal rnnsrgb-dsemantic segmentationneural networkscross-modality features
发现论文，激发创造
  • 当 CNN 遇到随机 RNN: 多层次 RGB-D 物体和场景识别分析

    本文提出了一个使用 RGB-D 图像进行对象和场景识别的新方法，使用深度神经网络取代手工特征提取器，并利用卷积神经网络提取的视觉特征和递归神经网络高效转换为高级别特征，通过软投票方法进行多模态融合来实现一致的分类结果，实验结果表明该方法在对象和场景识别任务中均取得了卓越或同等水平的性能。

    Apr, 2020

  • 用多模态递归神经网络来解释图像

    本文提出了一种基于多模态循环神经网络 (m-RNN) 的模型，实现图像内容的生成式描述，模型包含句子的深度循环神经网络和图像的卷积神经网络两个子网络以及它们的多模态层，经验证在三个基准数据集上的表现优于现有方法，还可以应用于图像或句子的检索任务，比现有直接优化排名目标函数的方法取得了显著的性能提升。

    Oct, 2014

  • 多模态循环神经网络（m-RNN）实现的深度字幕生成

    本文提出了一种基于多模态循环神经网络的模型，用于生成图像标题，并在四个基准数据集上验证了该模型的有效性。

    Dec, 2014

  • 基于 RGB-D 的场景识别翻译 - 识别网络

    该研究提出了一种新的模态间转移识别网络 TRecgNet，利用编码器网络共享任务，采用半监督方式利用未标记的数据进行训练，进一步提高了识别网络的准确性。实验证明，TRecgNet 在 RGB-D 场景识别方面的表现具有优越性。

    Apr, 2019

  • 多维递归神经网络

    本文介绍了多维循环神经网络 (MDRNNs) 的概念，扩展了循环神经网络 (RNNs) 在视觉、视频处理、医疗影像等领域的应用，同时避免了其它多维模型所面临的缩放问题。笔者提供了两个图像分割任务的实验结果。

    May, 2007

  • GeThR-Net: 通用时间混合循环神经网络用于多模态信息融合

    提出了一种新颖的深度神经网络架构，该架构能够智能地组合来自多种模态的时间流数据且表现优于目前最佳的多模态网络算法。

    Sep, 2016

  • 跨域多模态 RGB-D 场景识别

    本文提出了一种自适应景观识别方法，该方法使用 RGB 和深度图像之间的自监督转换，以解决多模态数据集之间的领域转移问题，并证明其在不同相机采集的数据之间具有很强的泛化能力。

    Mar, 2021

  • DA-RNN: 带数据关联的循环神经网络实现语义映射

    本文提出了一种数据关联递归神经网络（DA-RNNs）的新框架，它可以将 RGB-D 视频的语义标记与 KinectFusion 等拓扑映射技术相结合，从而将 RGB-D 视频的语义信息注入重建的 3D 场景中，实现了对三维场景地图与语义标记的联合理解。实验结果表明，这种方法在语义 3D 场景映射方面具有良好的性能。

    Mar, 2017

  • Beyond RGB: 基于多模态深度网络的高分辨率城市遥感技术

    本文研究使用深度完全卷积网络来处理多模态多尺度遥感数据的语义标注，并采用有效的多尺度方法来提高语义标注的精度和深入研究数据的早期和后期融合方法，并在两个公共数据集上验证了我们的方法，表现出令人满意的结果。

    Nov, 2017

  • 通过多模态交互和池化注意力优化 RGB-D 语义分割

    提出了一种利用 RGB 和深度模态之间互动协同作用的多模态交互与池化注意网络（MIPANet）来优化室内场景中 RGB-D 语义分割的方法，通过多模态交互与融合模块 (MIM) 和池化注意模块 (PAM) 的引入，有效改善了 RGB-D 语义分割性能。

    Nov, 2023