Mar, 2021

ThreeDWorld 交通运输挑战：面向物理合理实体智能的视觉引导任务和动作规划基准

PDF
TL;DR介绍了三维仿真的机器人任务与动作规划基准测试的设计，通过对象的选择、拾取和运输，要求具有先进物理约束和规划任务的人工智能智能体能够在仿真环境中完成任务。实验结果表明，现有算法在此测试中需要进一步发展。
task-and-motion planningroboticsphysics simulationembodied agentsartificial intelligence
发现论文，激发创造
  • 物理嵌入式规划问题：强化学习的新挑战

    通过在物理引擎中嵌入具有挑战性的符号任务（Sokoban，井字棋和围棋），引出了一组需要长时间视觉、推理和电机控制的任务，研究了现有的强化学习算法在这样的物理系统中的表现。同时，研究提出了使用预训练的专家游戏玩家为强化学习提供有用提示，缩小抽象规划和物体控制之间的差距的方案。

    Sep, 2020

  • PushWorld：带工具和可移动障碍的操纵计划基准

    本研究基于一个物理世界环境，结合机器人的智能行为，检验了当前最新的经典计划和强化学习算法。结果发现，新提出的经典计划启发式算法在效率更高的情况下，仍未能达到最优解，略低于人类的水平。

    Jan, 2023

  • 通过交替进行多智能体路径规划和基于物理模拟的操作，实现可移动物体的复杂非抓取操作规划

    该研究针对机器人在重复环境中的可操作性，提出一种基于物理模拟器的动态规划算法，结合多智能体路径规划的思想，用于实现机械臂动作计划与可移动物体状态变化之间的交互式自主调整。

    Mar, 2023

  • 重新排列：具身人工智能面临的挑战

    本文提出了一个以重新排列任务为基础的体现智能 (AI Embodied) 的研究和评价框架，并描述了四个不同的仿真环境中重新排列方案的实验测试床和性能度量标准，以支持重新排列代理的训练和部署。

    Nov, 2020

  • ThreeDWorld：交互式多模态物理模拟平台

    TDW 是一种用于交互式多模式物理模拟的平台，可支持高度逼真的感官数据和物体之间的物理交互，并支持在 3D 丰富环境中进行。通过 TDW，可以进行多种物理材料的交互和渲染，并支持人机交互，从而在机器视觉、机器学习和认知科学等领域探索新的研究方向。

    Jul, 2020

  • VRKitchen：面向任务学习的交互式 3D 虚拟环境

    通过 VRKitchen 的虚拟现实环境和集成功能，该研究使用现代人工智能方法驱动具有复杂任务能力的实体代理，使人类教师能够进行演示培训，为任务导向学习等领域的广泛应用提供了标准化的评估基准和数据收集工具。

    Mar, 2019

  • 运输网络：为机器人操作重构视觉世界

    本文提出了 Transporter Network，一种简单的模型体系结构，它可以重新排列深层特征以从视觉输入中推断出空间位移，使得机器人的行动具有参数化，是一种可以表示复杂的多模式策略分布并推广到多步顺序任务的方法，并且采样效率比基准方法快数个数量级。

    Oct, 2020

  • 机器视觉场景理解挑战赛

    利用模拟技术和新的测试方法，提出了一种用于测试具有主动机器人视觉系统的场景理解系统的标准挑战，旨在推动场景理解领域的最新研究。

    Sep, 2020

  • REVERIE: 远程实体视觉室内指称表达

    本文提出了一个包含自然语言描述复杂机器人任务的数据集，以期提高机器人与人类之间的互动能力，在使用多个现实图像中的可见物体来回应多方面的指令方面进行各种复杂任务的能力是解决这一挑战的关键。我们测试了多种最先进的视觉和语言导航，以及指涉表达模型来验证这项新任务的难度，但他们中没有一个显示出有希望的结果。我们还提出了一种新颖的交互式导航 - 指针模型，为该任务提供了强有力的基线。该模型在未见测试集上表现最佳，但与人类表现相比仍有很大的改进空间。

    Apr, 2019

  • 运输器视觉前瞻解决未知重新排列任务

    本文提出了一种基于图像的任务规划方法，称为具有视觉预见的运输器，旨在解决智能机器人操作中的重新排列任务。通过多模态动作建议模块和 Goal-Conditioned Transporter Network 的学习，实现零样本通用性和高效学习。在模拟和真实机器人实验中，该方法以很少的数据量显著提高了任务的成功率。

    Feb, 2022