Apr, 2018

使用卷积变分编码器 - 解码器网络进行单目语义占据栅格地图绘制

PDF
TL;DR该研究使用单目摄像头的弱立体视觉信息，通过变分编码器 - 解码器网络实现了从前视图到鸟瞰图的语义度量占用栅格地图学习，并优于传统方法，在城市街景数据集上 mean IoU 提升 12% 以上，并实现了对未见数据的鲁棒性和实时推理速度。
monocularoccupancy grid mappingvariational encoder-decoder networksemantic-metric learningreal-time inference
发现论文，激发创造
  • 使用金字塔占据网络从图像中预测语义地图表示

    本文提出了一种使用单个端到端深度学习架构直接估算单眼图像中的地图的简单统一方法，并采用语义贝叶斯占据网格框架来积累多个相机和时间步长的信息，与现有最佳方法相比，在 NuScenes 和 Argoverse 数据集上相对提高了 9.1% 和 22.3%。

    Mar, 2020

  • 基于深度卷积网络的占据栅格地图目标检测和分类

    利用卷积神经网络和网格地图环境表示法，基于传感器数据检测并分类物体，实现了对自动驾驶车辆周围环境感知的精确处理。

    May, 2018

  • 使用内存高效稀疏卷积的自动驾驶实时三维语义占位预测

    自动驾驶车辆中，实时理解自身车辆周围的三维环境至关重要。本文介绍一种从前视二维相机图像和 LiDAR 扫描中提取特征并使用稀疏卷积网络（Minkowski Engine）进行三维语义占用预测的方法，以解决实时应用中的高计算需求和稀疏场景完整性的问题。

    Mar, 2024

  • 使用学习编码的场景表示进行单目密集语义重建

    该研究提出了一种基于变分自编码器的语义表示方法，实现了对三维语义地图的实时增量建立与空间一致的语义标签融合，可以用于单目关键帧语义映射系统，并能够实现对位姿、几何和语义的联合优化。

    Mar, 2019

  • MonoOcc: 单目语义占据预测深入研究

    提出了一种名为 MonoOcc 的方法，通过在框架的浅层引入辅助语义损失作为监督和利用图像条件下的交叉注意力模块来改进单目占据预测框架，并利用较低的硬件成本将时间信息和更丰富的知识从更大的图像主干传输到单目语义占据预测框架，从而取得了基于相机的 SemanticKITTI 场景完成基准测试中的最佳性能。

    Mar, 2024

  • 场景作为占用

    通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

    Jun, 2023

  • OVO: 开放词汇占用

    本文提出了 Open Vocabulary Occupancy (OVO) 算法，通过知识蒸馏和像素 - 体素筛选两个关键步骤，可以对任意类别进行语义占据的预测，同时适用于大多数最先进的语义占据预测模型。在 NYUv2 和 SemanticKITTI 数据集上，OVO 与有监督的方法相比具有竞争性的性能。

    May, 2023

  • GEOcc：几何增强的三维占据网络与隐式 - 显式深度融合和上下文自监督

    本文提出了 GEOcc，一种适用于仅使用视觉的全景视图感知的几何增强占用网络，它通过将环视图图像转换为密集的三维网格内的集成几何和语义表示来实现对三维占用的感知，解决了目前模型面临的两个主要挑战：在二维至三维视图变换阶段准确建模深度，以及由于稀疏的 LiDAR 监督引起的泛化问题的缺乏。

    May, 2024

  • 基于语义网格的短期预测与多摄像头融合

    本文提出并评估了一种新型架构，该架构生成一种自我中心的，基于网格的，预测性和语义可解释的环境表示。通过多个相机流的空间 - 时间融合，深度编码器 - 解码器网络被训练来将这些视图融合为一个统一的语义网格表示，并预测其周围环境的动态。

    Mar, 2019

  • 卷积占据网络

    本文提出基于卷积的代表性网络 Convolutional Occupancy Networks 用于 3D 重建，实现了在较为复杂的几何情况下的结构化推理及其他先验偏差的融合，通过从噪声点云等数据中重建复杂几何模型且适用于大尺度室内场景。

    Mar, 2020