Jul, 2020

看见不可见：为房间导航学习语义图

PDF
TL;DR使用学习方法，结合语义地图进行室内导航，预测超出视野范围的置信度地图和目标点，模型可根据建筑模式和风格规律在新环境中进行导航，将房间导航任务简化为点导航可提高性能。
learning-based approachroom navigationsemantic mapsarchitectural regularitiespoint navigation
发现论文，激发创造
  • 主动语义目标导航的映射学习

    本文提出了一种通过主动学习生成语义地图的框架，在未知环境下实现目标物体导航，通过在未观察区域内的语义类别的不确定性进行决策，实现了对场景中语义优先级的学习，并在 Matterport3D 数据库上验证了改进的导航效果。

    Jun, 2021

  • 在室内环境中进行高层语义区域划分而无需物体识别

    通过室内环境中的具身导航，提出了一种语义区域绘图的方法，通过视觉 - 语言模型向导绘图，将自身场景理解映射到全局框架上，生成具有高级代理知识的语义地图，实现自主地图生成。在逼真模拟器的实验中，该方法在大量基线方法中明显优于基于对象的系统和预训练场景分类器。

    Mar, 2024

  • 使用语义地图监督学习导航视觉表征

    我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了 47％的 SR 和 41％的 SPL 的最新最佳结果。

    Jul, 2023

  • 使用 Affordance Map 学习移动

    本文提出了一种基于自监督学习的模块化方法，该方法将传统的几何规划与学习空间场景表示相结合，以实现对动态对象和语义约束进行自主探索和导航。在基于 VizDoom 的仿真环境中得到了验证。

    Jan, 2020

  • QueSTMaps：可查询的二维场景语义拓扑地图

    通过楼层平面图提取，我们引入了一个两步流程，首先使用一种新颖的多通道占用表示提取室内场景的拓扑图，然后使用自注意力转换器基于对象生成每个房间实例的 CLIP 对齐特征和语义标签。我们在房间分割和分类上的表现超过了当前最先进技术，我们的定性分析和消融研究揭示了联合结构和语义三维场景理解问题的见解。

    Apr, 2024

  • 基于大型语言模型的房间 - 物体关系知识在增强多模态输入目标导航中的应用

    利用大型语言模型提取知识，我们在多通道 Swin-Unet 架构的基础上，使用数据驱动的、基于模块的方法进行多任务学习，从而实现了有效的目标导航，超过了基准模型平均 10.6% 的效率指标（SPL），并在现实世界的演示中展示了该方法在穿越多个房间时的高效性。

    Mar, 2024

  • 神经拓扑 SLAM 用于视觉导航

    本文研究图像目标导航问题，提出了一种基于拓扑表示法、语义特征和监督学习算法的解决方案，在视觉和物理仿真实验中部署该算法，与现有方法相比，在长时间任务中呈现出 50％以上的相对提高。

    May, 2020

  • 使用语义模型进行学习和规划

    本论文提出了一种基于深度强化学习的混合模型与无模型集成的方法 LEAPS，通过对含有内在语义规律但视觉多样性的人造环境的实验表明其比不考虑语义内容的强基线更有效。

    Sep, 2018

  • 基于语义地图的导航指令生成

    我们提出了一种使用语义地图作为视觉输入的图像字幕任务的导航指令生成新方法，并发布了使用语义地图的指令生成基准数据集和初步模型。

    Mar, 2024

  • MAGIC: 地图指导的少样本音频 - 视觉声学建模

    通过构造与声音相关的视觉语义特征图和地图，我们提出了一个以地图为导向的框架，通过少量的观测数据准确地建模环境声学。我们通过扩散特征和预测观测语义地图生成场景语义地图，然后通过基于 Transformer 的编码器 - 解码器与回声编码交互，预测任意发言者 - 听众查询对的房间冲激响应。大量在 Matterport3D 和 Replica 数据集上进行的实验验证了我们框架的有效性。

    May, 2024