Mar, 2017

DA-RNN: 带数据关联的循环神经网络实现语义映射

PDF
TL;DR本文提出了一种数据关联递归神经网络（DA-RNNs）的新框架，它可以将 RGB-D 视频的语义标记与 KinectFusion 等拓扑映射技术相结合，从而将 RGB-D 视频的语义信息注入重建的 3D 场景中，实现了对三维场景地图与语义标记的联合理解。实验结果表明，这种方法在语义 3D 场景映射方面具有良好的性能。
3d scene understandingdata associated recurrent neural networkssemantic labelingrgb-d videossemantic 3d scene mapping
发现论文，激发创造
  • 3DCNN-DQN-RNN: 用于大规模 3D 点云的语义分割的深度强化学习框架

    本研究提出了一种融合 3D 卷积神经网络 (CNN)、深度 Q 网络 (DQN) 和残差循环神经网络 (RNN) 的方法，对大规模三维点云进行高效的语义解析，取得了优于现有方法的分类结果。

    Jul, 2017

  • DeLS-3D: 3D 语义地图的深度定位与分割

    该研究提出了一种基于深度学习的统一框架，通过将相机视频、运动传感器（GPS/IMU）和三维语义地图进行传感器融合，以实现自主驾驶、自我定位和场景分类等多个应用领域中场景解析和相机姿态同时处理的目的。研究使用的技术包括渲染技术，使用相机姿态和三维语义地图生成标注地图，并在深度神经网络中进行联合训练，以提高姿态估计精度。该研究表明，相较于单一传感器，传感器融合对于目标跟踪及姿态估计具有更高的鲁棒性和准确性。

    May, 2018

  • 使用 RGB-D 相机的多视角深度学习实现一致的语义映射

    本文提出一种从多个 RGB-D 视图中进行对象类语义分割的新方法，使用深度学习训练神经网络进行预测，同时借助于 RGB-D 的 SLAM 获取摄像机轨迹，实现多视图一致性训练和测试。实验结果表明，与单视图基准线相比，深度特征池化和多视角融合可以在 NYUDv2 数据集上实现单视图语义分割和多视图语义融合的最新性能。

    Mar, 2017

  • SemanticFusion：基于卷积神经网络的密集 3D 语义地图构建

    使用卷积神经网络和密集同时定位和建图（SLAM）系统来将视觉感知转化为语义映射，实现在室内 RGB-D 视频帧之间的长期稠密对应以及在多个视点上的概率融合，从而生产有用的 3D 语义地图。

    Sep, 2016

  • ALSTER：一种用于在线 3D 语义重建的本地时空专家

    我们提出了一种在线的三维语义分割方法，可以从连续的 RGB-D 帧流中增量重建三维语义地图，适用于具有实时约束的场景，例如机器人技术或混合现实。我们的方法通过联合估计每帧的几何和语义标签来有效提取输入 RGB-D 视频流的信息，并利用 2D 输入和局部 3D 领域的差异进行对语义实体的推理，进而预测场景的增量更新并整合到全局场景表示中，实验结果表明我们的方法相对于现有的在线方法在本地区域产生了改进，并且展示了互补信息可以提升性能的证据。

    Nov, 2023

  • 室内场景标记的多模态循环神经网络与信息传递层

    提出了一种新的多模态递归神经网络方法 (Multimodal RNNs) 用于 RGB-D 场景语义分割，它同时优化两个递归神经网络模型的训练，各自从自己以及另外一个模型的传递模式中学习特征，以提取相关的跨模态信息特征，实现了在 RGB 和深度图像数据上的显著优化和竞争性结果。

    Mar, 2018

  • DDN-SLAM：实时稠密动态神经隐式 SLAM 与联合语义编码

    DDN-SLAM 是一个实时的密集神经隐式语义 SLAM 系统，旨在解决动态场景下的跟踪和建图挑战，通过利用深度语义系统提供的先验知识、结合条件概率场进行分割，并采用深度引导静态遮罩和联合多分辨率哈希编码以提高建图质量。同时采用稀疏特征点和光流验证的方法增强跟踪鲁棒性，实现闭环检测和全局束优化。实验证明，在动态和静态场景中，DDN-SLAM 方法优于当前最先进方法。

    Jan, 2024

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • 基于神经渲染的无监督连续语义适应

    本文研究了语义分割的连续多场景自适应问题，提出了基于 Semantic-NeRF 网络的解决方案，通过将分割模型的预测结果融合，使用视点一致的渲染语义标签来适应模型。我们在 ScanNet 数据集上测试，取得了比基线和最先进的无监督域自适应方法更好的性能。

    Nov, 2022

  • 用于 3D 视频中动作识别的双流 RNN/CNN

    本论文提出了一种通过将循环神经网络和卷积神经网络相结合运用于动作识别的算法，通过 SVM 对特征进行分类，实验结果表明，在标准数据集上，该算法提高了 14% 的识别率。

    Mar, 2017