Sep, 2023

SG-Bot：基于场景图的粗到细机器人想象力的目标重新排列

PDF
TL;DRSG-Bot 是一种新颖的重新排列框架，利用分级的场景图作为场景表示，通过观察、想象和执行三个步骤，灵活地处理对象重新排列任务，并通过生成模型形成目标场景，此外，实验结果表明 SG-Bot 在性能上超过竞争对手很大一个幅度。
发现论文，激发创造
  • ReorientBot: 物体定向学习，用于特定姿态的放置

    本文介绍了一个基于视觉的机器人操作系统，能够通过姿态估计和体积重建实现物体重新定位，并通过学习的路径选择和传统的运动规划生成无碰撞路径，从而成功和高效地完成对物体的操作和重构，实现了机器人操作的自主化，成功率提高了 81％，执行时间提高了 22％。

    Feb, 2022

  • 从整体到特定：通过平衡调整进行信息化场景图生成

    本研究提出了一种基于平衡调整的场景图生成框架 ——BA-SGG，该框架通过语义平衡调整和平衡谓词学习两个组件分别对信息谓词和常见谓词之间的两种不平衡进行调整，有效提高场景图生成的性能。在 Visual Genome 数据集中，与变压器模型相比，我们的方法在三个子任务中的平均回收率分别提高了 14.3％，8.0％和 6.1％。

    Aug, 2021

  • 使用场景图进行增量式目标定位

    本文介绍了一种基于场景图和语言结构的递增式 grounding 模型 (IGSG)，通过使用场景图中的对象之间的关系，构造问答对话方式以消除人类命令的歧义和错误，该模型在现实场景中表现出可接受的性能，可以有效地通过回问式问答消除歧义的问题。

    Jan, 2022

  • 视觉房间重组

    一项围绕着域中物理实体与环境互动的任务 - 室内重新配置的新数据集 RoomR 并结合实验展示现有的 Embodied AI 技术在此类任务方面性能仍有提升空间。

    Mar, 2021

  • 室内场景的人机协同活动重新排列

    本文提出一种基于优化的框架用于重新布置室内家具，以更好地容纳人机共同活动。优化算法基于多种空间和语义相关信息，将家具重新布置以保留人类功能性需求的同时为机器人活动留出足够空间，并通过自适应模拟退火和共轭梯度演化策略解决优化问题。实验结果显示，重新布置后的场景平均提供了 14％更多的可访问空间和 30％更多的物品供机器人和人类交互。

    Mar, 2023

  • 重新排列：具身人工智能面临的挑战

    本文提出了一个以重新排列任务为基础的体现智能 (AI Embodied) 的研究和评价框架，并描述了四个不同的仿真环境中重新排列方案的实验测试床和性能度量标准，以支持重新排列代理的训练和部署。

    Nov, 2020

  • 任务地理学：针对大型三维场景图的机器人任务规划评估

    该研究提出了基于 3D 场景图的大规模机器人任务规划基准，系统研究了符号计划的性能，并提出了任务条件下的 3DSG 稀疏化方法 SCRUB 和学习规划器的结构化剪枝方法 SEEK，以期在机器人任务规划，学习和 3DSGs 等领域推动进一步的研究。

    Jul, 2022

  • RREx-BoT：用技巧袋处理远程代指表达式

    该研究揭示家庭机器人在执行长期任务时通过使用三维编码和视觉语言模型可实现客观目标定位；通过实证研究，该研究表明该方法优于以往的同类工作并适用于实际机器人平台。

    Jan, 2023

  • 实时场景图生成

    我们提出了一种使用 YOLOV8 作为目标检测骨干网络的实时场景图生成方法，该方法在任务中首次实现超过 48 FPS 的速度，且没有准确度损失，成功胜过任何其他轻量级方法。

    May, 2024

  • 神经约束满足：层次抽象在物体重新排列中的组合推广

    通过构建一个因式分解转换图，将通过像素推断出的实体代表聚类，进而实现对嵌入式代理的物体重新排列的控制，解决到目前为止难以解决的大量实体配置问题。

    Mar, 2023