ICCVAug, 2023

主动神经映射

PDF
TL;DR我们提出了一种具有不断学习的神经场景表示的主动映射问题，即主动神经映射。关键在于通过高效的代理移动主动地找到要探索的目标空间，从而在以前未见过的环境中实时地最小化地图的不确定性。本文研究了不断学习的神经场中的权重空间，并通过实验证明了神经变异性，即针对随机权重扰动的预测稳健性，可以直接用于测量神经映射的即时不确定性。结合神经映射中继承的连续几何信息，代理可以被引导找到可穿越的路径，逐渐了解环境。我们首次提出了一种具有基于坐标的隐式神经表示的在线场景重建的主动映射系统。在视觉逼真的 Gibson 和 Matterport3D 环境中进行的实验证明了该方法的有效性。
发现论文，激发创造
  • 连续神经映射：从序列观测中学习隐式场景表示

    本文介绍了一种基于神经网络的连续场景表征学习方法，通过经验回放解决连续场景表征学习中遗忘和准确性的平衡问题。实验证明本方法能够连续地学习和表示场景几何特征。

    Aug, 2021

  • 神经二分图匹配的多机器人主动建图

    本文介绍了一种名为 NeuralCoMapping 的算法，通过将多机器人建图问题转化为二分图匹配，并使用多通道图神经网络来简化亲和矩阵的填充过程，同时通过增强学习来优化线性分配层，该算法能够在较短时间内完成完整的地图构建，同时在各种室内场景和未见过的机器人数量上获得卓越的性能和通用性。

    Mar, 2022

  • 主动语义目标导航的映射学习

    本文提出了一种通过主动学习生成语义地图的框架，在未知环境下实现目标物体导航，通过在未观察区域内的语义类别的不确定性进行决策，实现了对场景中语义优先级的学习，并在 Matterport3D 数据库上验证了改进的导航效果。

    Jun, 2021

  • 主动神经定位

    本文提出了一种名为【Active Neural Localizer】的全可微神经网络，结合传统基于滤波的定位方法的思想，以及策略模型，通过强化学习的训练，可以有效地在各种模拟环境中进行精确和高效的本地化定位。

    Jan, 2018

  • 多智能体探索的主动神经拓扑映射

    在这篇论文中，我们提出了一种名为 MANTM（Multi-Agent Neural Topological Mapping）的方法，用于改善多智能体探索任务的效率和泛化能力，通过构建包含主要节点和对应虚拟节点的图形，以及使用图神经网络从粗到细的方式捕捉智能体与图节点之间的相关性进行全局目标选择。通过在模拟器 Habitat 中进行广泛实验，我们发现 MANTM 在未见过的场景中，相比于基于规划和基于强化学习的竞争方法，可以将步骤至少减少 26.40％和 7.63％。

    Nov, 2023

  • 使用 Affordance Map 学习移动

    本文提出了一种基于自监督学习的模块化方法，该方法将传统的几何规划与学习空间场景表示相结合，以实现对动态对象和语义约束进行自主探索和导航。在基于 VizDoom 的仿真环境中得到了验证。

    Jan, 2020

  • 基于预测编码和不确定性最小化的主动感知

    运用预测编码和不确定性最小化两种生物启发式计算方式，提出了一种端到端的嵌入式探索过程，可用于解决任务无关的探索问题。在迷宫导航和积极视觉任务中，我们的模型均能够通过建立无监督表示，对感知场景进行主动采样、高效分类，学习效率更高、数据效率更高。此外，模型的模块化设计允许分析其内部机制以及在探索行为中，感知与行动之间的相互作用。

    Jul, 2023

  • 面向语义分割的视觉活动学习

    本文研究了具体化视觉主动学习任务，该任务通过选择性的视野请求注释来探索三维环境，以获取场景理解，我们通过开发一系列智能体来研究具体化视觉主动学习，其中智能体配备语义分割网络，并使用深度强化学习以及奖励函数平衡任务性能和必要注释数据请求，得到了可靠的结果。

    Dec, 2020

  • 基于在线语义重构的主动场景理解

    提出一种基于 RGBD 重建和语义分割的机器人操作主动理解未知室内场景的新方法，利用离线估计的离散视野分数场来驱动机器人的勘探扫描，结合基于体素的实时语义标注，优化遍历路径和相机轨迹，从而实现高效准确的在线场景解析。

    Jun, 2019

  • 利用鼹鼠学习：可转移的潜在空间表示，实现无需重建的导航

    本研究提出通过盲辅助代理训练学习场景的可操作表示，用于导航决策，并且经实验证明该学习表示方式在处理复杂环境及从模拟到真实场景的转换时具有很好的鲁棒性。

    Jun, 2023