Apr, 2024

基于语义感知的多自由度移动系统在基于搜索和获取的视觉感知中的下一最佳视角

PDF
TL;DR采用移动系统进行高效视觉感知是至关重要的，特别是在未知环境下，如搜索和救援行动中，对感兴趣对象的快速和全面的感知是至关重要的。在本研究中，我们提出了一种新的信息增益方法，它将可见性增益和语义增益以统一的形式整合起来，以选择下一个语义感知感兴趣点，并设计了一个自适应策略来支持多自由度移动系统对多个感兴趣对象进行搜索和获取。通过模拟实验证明了所提方法的优越性，ROI 与整体重建体积比的改善幅度可达 27.13％，平均视角方向性达到 0.88234，并且所规划的运动轨迹对目标的感知覆盖更好。
efficient visual perceptionmobile systemsnext-best-viewsemantic gainsearch-and-acquisition manoeuvre
发现论文，激发创造
  • 语义视觉定位

    该论文提出了一种基于联合三维几何和语义理解的新方法来解决计算机视觉中困难的视觉定位问题，该方法使用生成模型进行描述符学习，并在语义场景补全作为辅助任务进行训练，以使得生成的三维描述符具有鲁棒性，并能够实现在极端视角，光照和几何变化下的可靠定位。

    Dec, 2017

  • 基于语义的人形机器视觉任务的主动感知技术与视点焦点传感器

    通过使用语义信息，可以在场景探索和视觉搜索任务中有效地完成视觉任务，从而证明了语义模型在视觉任务中的优越性。

    Apr, 2024

  • 使用稀疏语义 3D 地图的视觉定位

    本文提出了一种基于结构和图像的语义匹配方法，能够在诸如季节、亮度、天气和昼夜变化等多种条件下实现准确和稳健的视觉定位，实验证明该方法相较于现有技术有显著的提升。

    Apr, 2019

  • 语义视图合成

    本文介绍了一种新的语义视图综合问题，通过使用语义标签图作为输入生成合成场景的自由视角渲染，在现有图像 / 视图综合方法的基础上，提出了一个两步方法，第一步合成可见表面的颜色和深度，第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响，该方法在室内外场景中得到了良好的效果。

    Aug, 2020

  • 3D 物体重建中下一最佳视角的监督学习

    本文提出了一种基于监督深度学习的最佳视角规划方案，该方案包括自动生成数据集的算法和原始三维卷积神经网络 (3D-CNN)，用于学习下一个最佳视角，并与类似网络进行了比较，并进行了多个实验验证了该方案的有效性，以实现对不知名对象的重建。

    May, 2019

  • 基于图的语义多视角定位 (X-View)

    本研究提出一种基于语义图描述符匹配的多视野语义全局化系统 X-View，实现了在不同视角条件下的全局本体识别，可应用于地面至空中、以及地面至地面搬运机器人数据，准确率达 85%。

    Sep, 2017

  • InLoc: 室内稠密匹配和视角合成的视觉定位

    本文研究了室内大规模定位中基于景深匹配和虚拟视图合成的视觉方法，通过收集新的大规模数据集进行实验，证明了该方法在 6DoF 姿态预测方面明显优于现有方法。

    Mar, 2018

  • DASGIL: 面向语义和几何感知的基于图像的领域自适应定位

    本文提出一种基于多任务架构的视觉定位方法，通过将几何和语义信息融合到多尺度的嵌入表示中，使用有效的多尺度特征鉴别器进行对抗性训练，从虚拟数据集到现实世界数据集的领域适应，以实现图像检索定位及大规模地点识别。该方法在 Extended CMU-Seasons 数据集和 Oxford RobotCar 数据集上进行验证，结果表明本方法在具有挑战性的环境下的检索定位和大规模地点识别的表现优于现有方法。

    Oct, 2020

  • 3D-NVS：一种用于下一个视角选择的 3D 监督方法

    通过分类的方法，提出了一种下一个最佳视角选择的方案，着重于通过一对被动获取的 2D 视图获得最佳可能的 3D 重建质量，并通过地面真实体素的间接 3D 监督来联合训练分类器和重构网络。

    Dec, 2020

  • 跨视角语义分割感知环境

    为了提高机器人感知周围环境的能力，本研究提出了一种名为 Cross-view Semantic Segmentation 的视觉任务并推出了 View Parsing Network（VPN）框架来解决该任务，该任务能够将第一视角的观测数据转化为顶视图的物体语义分割图，表示出所有物体在像素层级的空间位置。通过在 3D 图形环境中训练 VPN 并使用域自适应技术将其转移到处理现实环境的数据，本研究证明了在实验中，VPN 显著提高了机器人理解空间信息的能力。

    Jun, 2019