Mar, 2019

基于语义网格的短期预测与多摄像头融合

PDF
TL;DR本文提出并评估了一种新型架构，该架构生成一种自我中心的，基于网格的，预测性和语义可解释的环境表示。通过多个相机流的空间 - 时间融合，深度编码器 - 解码器网络被训练来将这些视图融合为一个统一的语义网格表示，并预测其周围环境的动态。
environment representationautonomous systemsemantic segmentationcamera streamsegocentric grid
发现论文，激发创造
  • FISHING Net：在网格中推断语义热力图的未来

    本文介绍了一种利用多模态传感器数据进行多模态感知和预测的方法，采用一种自上而下的语义网格表示形式，对不同模态的传感器数据进行统一的表达，使得预测和融合更加简单可行。

    Jun, 2020

  • 使用学习编码的场景表示进行单目密集语义重建

    该研究提出了一种基于变分自编码器的语义表示方法，实现了对三维语义地图的实时增量建立与空间一致的语义标签融合，可以用于单目关键帧语义映射系统，并能够实现对位姿、几何和语义的联合优化。

    Mar, 2019

  • 使用卷积变分编码器 - 解码器网络进行单目语义占据栅格地图绘制

    该研究使用单目摄像头的弱立体视觉信息，通过变分编码器 - 解码器网络实现了从前视图到鸟瞰图的语义度量占用栅格地图学习，并优于传统方法，在城市街景数据集上 mean IoU 提升 12% 以上，并实现了对未见数据的鲁棒性和实时推理速度。

    Apr, 2018

  • 室内环境布局估计的边缘语义学习策略

    本文提出了一种全新的基于编码 - 解码网络的室内场景分类方法，该方法可以充分利用室内场景的边缘和语义信息，实现 2D 室内场景的准确估计，其在基准数据集上取得了最佳表现。

    Jan, 2019

  • 使用几何感知循环网络学习空间常识

    这篇论文提出了一种通过结合几何学和深度视觉表示学习的思想，将其嵌入移动视觉场景理解的递归网络架构中，以学习如何将 2D 视觉特征整合到场景的潜在 3D 特征映射中，通过不同 iable 几何操作进行预测和分割，十分成功。

    Dec, 2018

  • 使用语义地图监督学习导航视觉表征

    我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了 47％的 SR 和 41％的 SPL 的最新最佳结果。

    Jul, 2023

  • 利用视频预测网络进行城市交通场景的异中心占据栅格预测

    通过使用固定框架中的全中心占据网格来代表交通状况，以提高对自主车辆动态环境的预测精度，相比于传统的自车中心占据网格方法，全中心占据网格方法能有效地改善场景的预测。

    Jan, 2023

  • SemanticFusion：基于卷积神经网络的密集 3D 语义地图构建

    使用卷积神经网络和密集同时定位和建图（SLAM）系统来将视觉感知转化为语义映射，实现在室内 RGB-D 视频帧之间的长期稠密对应以及在多个视点上的概率融合，从而生产有用的 3D 语义地图。

    Sep, 2016

  • 机器人操作的通用语义几何表现

    本文提出一种名为语义几何表征（SGR）的感知模块，旨在整合 RGB 和深度相机的信息，以更好地学习机器人感知和控制的表征，实验结果表明，SGR 在单任务和多任务设置下的表现均显著优于其他方法，并具有到新语义属性的泛化能力。

    Jun, 2023

  • LaRa: 多摄像头鸟瞰语义分割的潜在特征与光线

    本文提出了一种基于编码解码器的自主行驶多摄像头车辆语义分割模型 LaRa，使用跨注意力机制将多个传感器的信息聚合成一组紧凑、丰富的潜在表示，进而在 BEV 空间中再次重投影，证明该模型在 nuScenes 上优于之前使用 Transformer 的最佳表现。

    Jun, 2022