Jun, 2019

跨视角语义分割感知环境

PDF
TL;DR为了提高机器人感知周围环境的能力，本研究提出了一种名为 Cross-view Semantic Segmentation 的视觉任务并推出了 View Parsing Network（VPN）框架来解决该任务，该任务能够将第一视角的观测数据转化为顶视图的物体语义分割图，表示出所有物体在像素层级的空间位置。通过在 3D 图形环境中训练 VPN 并使用域自适应技术将其转移到处理现实环境的数据，本研究证明了在实验中，VPN 显著提高了机器人理解空间信息的能力。
surrounding sensing capabilityvisual taskcross-view semantic segmentationview parsing networkspatial location
发现论文，激发创造
  • 基于场景的跨视角视频联合解析

    本文研究跨视角视频理解的联合分析框架，将视角为中心的建议集成到场景为中心的解析图中，以表示跨视角场景的连贯场景为中心的理解，生成语义场景为中心的解析图。定量实验表明，解析图中的场景为中心的预测优于视角为中心的预测。

    Sep, 2017

  • 语义视觉定位

    该论文提出了一种基于联合三维几何和语义理解的新方法来解决计算机视觉中困难的视觉定位问题，该方法使用生成模型进行描述符学习，并在语义场景补全作为辅助任务进行训练，以使得生成的三维描述符具有鲁棒性，并能够实现在极端视角，光照和几何变化下的可靠定位。

    Dec, 2017

  • 使用语义地图监督学习导航视觉表征

    我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了 47％的 SR 和 41％的 SPL 的最新最佳结果。

    Jul, 2023

  • 在室内环境中进行高层语义区域划分而无需物体识别

    通过室内环境中的具身导航，提出了一种语义区域绘图的方法，通过视觉 - 语言模型向导绘图，将自身场景理解映射到全局框架上，生成具有高级代理知识的语义地图，实现自主地图生成。在逼真模拟器的实验中，该方法在大量基线方法中明显优于基于对象的系统和预训练场景分类器。

    Mar, 2024

  • 使用稀疏语义 3D 地图的视觉定位

    本文提出了一种基于结构和图像的语义匹配方法，能够在诸如季节、亮度、天气和昼夜变化等多种条件下实现准确和稳健的视觉定位，实验证明该方法相较于现有技术有显著的提升。

    Apr, 2019

  • 语义视图合成

    本文介绍了一种新的语义视图综合问题，通过使用语义标签图作为输入生成合成场景的自由视角渲染，在现有图像 / 视图综合方法的基础上，提出了一个两步方法，第一步合成可见表面的颜色和深度，第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响，该方法在室内外场景中得到了良好的效果。

    Aug, 2020

  • 使用稠密不确定度估计的视觉跨视图度量定位

    本文使用新型网络结构和更密集的卫星图像描述符进行多模式区域定位，可将度量定位误差中位数相对于同一区域、跨区域和跨时间的现有技术分别降低 51％、37％和 28％。

    Aug, 2022

  • 学习环视物体，以生成室外场景的俯视图表征

    研究了一个新的问题，即从复杂的室外道路场景的透视视图中估计遮挡推理的语义场景布局，提出了一种卷积神经网络方法，根据前景物体（如汽车或行人）周围的信息来预测场景布局的遮挡部分，直接预测遮挡区域的深度和语义能更好地转换成俯视图，模型的训练不需要昂贵或主观的人工标注。

    Mar, 2018

  • S2TPVFormer：时空三视角视图用于具有时间一致性的 3D 语义占据预测

    本研究针对自主驾驶系统中对三维场景的整体理解和推理的重要性展开研究，将三维语义占据预测作为自主驾驶和机器人下游任务的预训练任务，与三维检测等方法相比，它更准确地捕捉了三维细节。现有方法主要关注空间线索，而忽视了时间线索。基于查询的方法常常使用计算密集的体素表示对三维场景信息进行编码。本研究介绍了 S2TPVFormer，它是 TPVFormer 的扩展，利用时空变换器结构进行一致的三维语义占据预测。强调了时空线索在三维场景感知中的重要性，特别是在三维语义占据预测中，我们的工作探索了较少研究的时间线索领域。通过利用三视角视图（Tri-Perspective View，简称 TPV）表示，我们的时空编码器生成具有时间上下文的嵌入，提高了预测的一致性，同时保持了计算效率。为了实现这一点，我们提出了一种新颖的时空跨视图混合注意机制（Temporal Cross-View Hybrid Attention，简称 TCVHA），促进了 TPV 视图之间的有效时空信息交流。对 nuScenes 数据集的实验评估表明，与 TPVFormer 相比，提出的 S2TPVFormer 在三维语义占据上取得了 3.1% 的平均交集联合（mIoU）改进，验证了其提高三维场景感知效果的有效性。

    Jan, 2024

  • 交叉视图 Transformer 用于实时地图视角语义分割

    本文提出了一种名为 Cross-View Transformers 的注意力机制模型，能够在不需要显式几何建模的情况下，从多个相机的视角中学习到语义分割的图像表示，并进行了实时性能验证。

    May, 2022