ECCVOct, 2021

高效多智能体合作视觉探索学习

PDF
TL;DR本研究提出了一种基于强化学习的算法，引入了新颖的多智能体规划模块 MSP 和空间平移变换器 Spatial-TeamFormer，实现了多智能体协作视觉探测，经过政策蒸馏提取的元策略大大提高了最终策略的泛化能力，并在一个真实的 3D 模拟器 Habitat 中表现出比经典规划方法更好的性能。
cooperative visual explorationreinforcement learningmulti-agent planningspatial-teamformerpolicy distillation
发现论文，激发创造
  • MASP: 面向多智能体导航的可扩展基于 GNN 的规划

    我们提出了基于多智能体可扩展图神经网络的分层规划器 (MASP)，用于具有大量智能体的导航任务，通过将搜索空间分成多个较小的空间以减少复杂度和加快训练收敛速度，并利用图神经网络建模智能体和目标之间的相互作用，提高目标实现能力，并在未见过的团队规模工作场景中展示了零 - shot 泛化能力。

    Dec, 2023

  • 协作式视觉导航

    提出一个用于多智能体视觉导航的大规模三维数据集 CollaVN，探索不同 MAVN 方法进行智能体的协作，用于弥补以往方法只关注格子世界或者游戏环境的不足，并采用记忆增强型通信框架提高多智能体合作效率和鲁棒性。

    Jul, 2021

  • 具有可操作感知的多模态神经 SLAM 学习行为

    提出一种神经 SLAM 方法，利用多种模态进行探索，预测可承受意义地图并在其上进行规划，从而显著提高了探索效率，实现了鲁棒的长程规划，使得机器智能能够更有效地识别视觉和语言信息。在 ALFRED 基准测试中，相对先前发表的作品，提出的 Affordance-aware Multimodal Neural SLAM（AMSLAM）方法在成功率上实现了 23.48％的新的最高水平，取得了超过 40％的改进。

    Jan, 2022

  • 多智能体探索的主动神经拓扑映射

    在这篇论文中，我们提出了一种名为 MANTM（Multi-Agent Neural Topological Mapping）的方法，用于改善多智能体探索任务的效率和泛化能力，通过构建包含主要节点和对应虚拟节点的图形，以及使用图神经网络从粗到细的方式捕捉智能体与图节点之间的相关性进行全局目标选择。通过在模拟器 Habitat 中进行广泛实验，我们发现 MANTM 在未见过的场景中，相比于基于规划和基于强化学习的竞争方法，可以将步骤至少减少 26.40％和 7.63％。

    Nov, 2023

  • 多机器人社交感知协作规划在行人环境中的多智能体强化学习

    本文提出了一种基于离线多智能体强化学习（MARL）的多机器人社交感知和高效协同规划方法，使用时间 - 空间图（TSG）进行社交编码，引入 K 步先见奖励设置，并改进了传统的集中式批判者网络，从而在多群组实验中验证了该方法的有效性。

    Nov, 2022

  • 使用主动神经 SLAM 学习探索

    论文介绍了一种名为 Active Neural SLAM 的模块化和分层方法来学习探索 3D 环境的策略，并在真实的 3D 环境中进行实验，结果表明该方法比过去的学习和几何方法更有效。

    Apr, 2020

  • 一种基于部分监督的视觉主动搜索强化学习框架

    将视觉主动搜索与深度强化学习、监督信息和元学习相结合的方法在几个问题领域中显著优于现有的视觉主动搜索模型。

    Oct, 2023

  • 多智能体深度强化学习的协作探索

    本文提出协作多智能体探索（CMAE）方法，通过归一化熵技术从多个状态空间中选择目标，实现智能体之间探索的协调性，取得了多项任务的良好表现。

    Jul, 2021

  • 使用 Affordance Map 学习移动

    本文提出了一种基于自监督学习的模块化方法，该方法将传统的几何规划与学习空间场景表示相结合，以实现对动态对象和语义约束进行自主探索和导航。在基于 VizDoom 的仿真环境中得到了验证。

    Jan, 2020

  • 在真实环境中使用混合策略进行多目标导航

    我们提出了一种混合导航方法，将多对象导航（Multi-ON）任务分解为两个不同的技能：（1）使用经典 SLAM 和符号规划器处理航路点导航，而（2）使用结合监督学习和强化学习训练的深度神经网络处理探索、语义建图和目标检索，我们展示了该方法在模拟和真实环境中相对于端到端方法的优势，并超越了该任务的最先进技术。

    Jan, 2024