RoboEXP：基于交互式探索的机器人操作行为条件化场景图

Feb, 2024

RoboEXP：基于交互式探索的机器人操作行为条件化场景图

RoboEXP: Action-Conditioned Scene Graph via Interactive Exploration for Robotic Manipulation

Hanxiao Jiang, Binghao Huang, Ruihai Wu, Zhuoran Li, Shubham Garg...

TL;DR通过交互式场景探索，RoboEXP 系统利用动作条件的场景图（ACSG）有效建模并推进机器人在各种真实环境中的操作任务。

Abstract

robots need to explore their surroundings to adapt to and tackle tasks in unknown environments. Prior work has proposed building scene graphs of the environment but typically assumes that the environment is static, omitting regions that require active interactions. This severely limits

robots interactive scene exploration action-conditioned scene graph roboexp environment modeling

发现论文，激发创造

从场景图对中学习动作 - 效应动力学

本文提出了一种新方法，利用场景图像来推理自然语言中描述的行为的影响，并在现有的 CLEVR_HYP (Sampat et.al，2021) 数据集上进行了实验，显示出与现有模型相比，该方法在性能，数据效率和泛化能力上都具有有效性。

Dec, 2022

基于基础模型的机器人自学习框架：从探索中成长

智能机器人是机器人领域的最终目标，本文提出了名为 GExp 的框架，通过自我探索、知识库构建和闭环反馈等模块，使机器人能够自主探索和学习，解决了机器人自主探索各种环境的挑战，并且提供了部署实际机器人系统作为全方位助手的工作流程。

Jan, 2024

利用探索性规划进行自主学习动作模型

本文提出了一种新型的探索计划代理，它能够在没有专家跟踪或给定目标的情况下学习行动先决条件和效果，优化探索和行动模型学习，运用新的表示为 Lifted Linked Clauses 和一种新颖的探索行动选择方法，并在探索为中心的视频游戏场景中进行实证评估。

Mar, 2022

动作场景图：针对自视角视频的长篇理解

我们提出了 Egocentric Action Scene Graphs (EASGs)，一种用于理解视角视频的长篇形式的新表示。通过提供相机佩戴者执行的动作、互动对象及其关系以及动作在时间上的展现的时间演变基于图的描述，EASGs 扩展了 egocentric 视频的标准手动注释表示。通过一种新的注释过程，我们通过添加手动标注的 Egocentric Action Scene Graphs 扩展了 Ego4D 数据集，为长篇理解的 egocentric 视频提供了丰富的注释。因此，我们定义了 EASG 生成任务并提供了一种基准方法，建立了初步的基准。针对两个下游任务（egocentric action anticipation 和 egocentric activity summarization）的实验突出了 EASGs 在长篇 egocentric 视频理解方面的有效性。我们将发布数据集和代码以复现实验和注释。

Dec, 2023

基于粒子滤波器信息增益的主动探索，用于高效空间概念形成

本文提出了一种结合粒子滤波和基于信息增益的主动探索的主动推理方法，名为空间概念形成（SpCoAE），用于在家庭环境中自主地学习空间概念。实验证明该方法可以高效地确定适当的位置，形成适当的空间概念，快速覆盖环境。

Nov, 2022

以场景为驱动的多模态知识图构建用于具象人工智能

通过结合传统的知识工程和大型语言模型，我们提出了一种以场景驱动的多模态知识图谱构建方法，用于知识表示和增强室内机器人功能。我们通过实例化 ManipMob-MMKG 评估了我们方法的优势，在数据收集效率和知识质量方面具有广泛的优越性。实验结果表明，使用我们实例化的 ManipMob-MMKG 进行知识增强方法可以明显改善性能，无需复杂重新设计模型结构。

Nov, 2023

SOON: 基于场景的对象导航和基于图形探索

本研究致力于解决机器人在三维物体场景中远距离导航的问题，通过引入一种新的基于图反向传播的算法提高了导航的准确性并在包括 objective ambiguity 的复杂环境中进行了测试。

Mar, 2021

学习符号表示的主动探索

提出一种在线主动探索算法，能够高效地从数据中学习环境的抽象符号模型，并采用贝叶斯模型引导其未来的探索。通过两个计算机游戏领域的实验验证，证明该算法优于随机和贪婪的探索策略。

Sep, 2017

使用 Affordance Map 学习移动

本文提出了一种基于自监督学习的模块化方法，该方法将传统的几何规划与学习空间场景表示相结合，以实现对动态对象和语义约束进行自主探索和导航。在基于 VizDoom 的仿真环境中得到了验证。

Jan, 2020

RREx-BoT：用技巧袋处理远程代指表达式

该研究揭示家庭机器人在执行长期任务时通过使用三维编码和视觉语言模型可实现客观目标定位；通过实证研究，该研究表明该方法优于以往的同类工作并适用于实际机器人平台。

Jan, 2023