鲁棒的 RGB-D 物体识别多模态深度学习
本文提出了一种称为循环卷积融合(RCFusion)的新型 RGB-D 物体识别端到端架构,能够通过组合互补的 RGB 和深度信息表示不同抽象层次的信息来生成紧凑且高度可区分的多模态特征,并在两个流行数据集上的实验中,优于现有的最先进方法。
Jun, 2018
本文提出了一个使用 RGB-D 图像进行对象和场景识别的新方法,使用深度神经网络取代手工特征提取器,并利用卷积神经网络提取的视觉特征和递归神经网络高效转换为高级别特征,通过软投票方法进行多模态融合来实现一致的分类结果,实验结果表明该方法在对象和场景识别任务中均取得了卓越或同等水平的性能。
Apr, 2020
该研究介绍一种基于深度学习的 RGB-D 场景识别方法,提出了一种深度学习模型训练的两步骤方法和一种新的 RGB-D 视频数据集,实现了在 RGB-D 图像 (NYUD2 和 SUN RGB-D) 和视频 (ISIA RGB-D) 场景识别方面的最优表现。
Sep, 2018
我们提出了一种自适应融合方法,使用多种传感器,通过卷积神经网络专家的混合来学习权衡不同传感器的预测,该方法可适应于不同光照和摄像机运动模糊等影响。我们测试了该方法在室内和室外的人体检测,并证明了其可适应困难环境,同时,我们还提出了一个新的混合室内外环境中的 RGB-D 数据集,可供参考。
Jul, 2017
该研究提出了一种名为 RD3D 的深度学习模型,其采用前编码器阶段的预聚合和后解码器阶段的深层特征融合来促进 RGB 和深度流的充分融合,并在 RGB-D 显着目标检测模型方面表现优于 14 种先进模型。
Jan, 2021
本研究利用卷积神经网络和弱监督方法,提出了一种能够在有限深度图像条件下学习具有较强区分性的深度特征,从而实现了 RGB-D 场景识别的最新成果,达到了最好的表现。
Jan, 2018
通过使用深度传感器的增强现实设备,我们提出了一种实时的 RGB-D 物体检测模型,其中包括深度引导的超卷积和基于上采样的可训练融合层,提高了从原始深度图中提取深度和彩色图像特征的效率和性能,并在 NYU Depth v2 数据集上表现优于其他基于 RGB-D 的物体检测模型,在 SUN RGB-D 数据集上表现相当出色,并且在新的室外 RGB-D 物体检测数据集上也表现出色。同时,我们的模型在来自 CAD 模型和图像生成的多样化合成数据的性能评估中显示出了应用于增强现实的潜力。
Sep, 2023
本文提出了一种深度学习架构,用于预测机器人操作的适合抓取的位置,通过使用 RGB-D 图像输入的深度神经网络实现对单个或多个对象的多个抓取候选项的预测,实验表明该方法在 Cornell 数据集上表现优于其他方法,在掌握实验中也获得了不错的成功率。
Feb, 2018
本文提出一种从多个 RGB-D 视图中进行对象类语义分割的新方法,使用深度学习训练神经网络进行预测,同时借助于 RGB-D 的 SLAM 获取摄像机轨迹,实现多视图一致性训练和测试。实验结果表明,与单视图基准线相比,深度特征池化和多视角融合可以在 NYUDv2 数据集上实现单视图语义分割和多视图语义融合的最新性能。
Mar, 2017
通过将深度学习与 RGB-D 数据相结合,提出了一种用于高效 3D 实例分割的新方法,该方法通过点状渲染模块将 2D 区域卷积神经网络(Mask R-CNN)模型与深度信息集成,可以识别和分割对象的 3D 实例,实验证明该方法对于支持机器人和智能系统中的物体处理非常有益。
Jun, 2024