Mar, 2017

实时感知遇上反应式动作生成

PDF
TL;DR研究了机器人在存在不确定性情况下的抓取和操纵问题，提出了连续实时感知和反应运动生成方法在动态操纵场景中的重要性，并比较了三种不同的系统架构。通过在真实机器人平台上进行四个场景的广泛评估，量化了反应运动生成系统中不同时间尺度实时反馈融合的鲁棒性和准确性，并报告了系统建设中的经验教训。
发现论文，激发创造
  • SPIN: 同时感知、交互与导航

    通过使用主动视觉系统来有意识地感知和应对环境，我们开发了一种移动操纵框架，该框架利用移动机械手的能力来移动和观察，从而能够在复杂混乱的场景中导航并展示灵活的全身协调，而无需创建环境地图。

    May, 2024

  • 移动操作的主动感知运动生成

    通过主动感知管道，我们在移动机器人中引入一种能够在未知、杂乱环境中进行抓取等操作的机器人运动生成方法，通过最大化视觉信息增益和任务目标达成的效率来权衡重构未知场景，以及实现了我们的移动抓取策略在真实世界中的传递。

    Sep, 2023

  • 多模态感知中基于生成模型的软体机器人交互

    该研究介绍了一个感知模型，通过协调来自不同模态的数据，构建一个完整的状态表示和吸收必要的信息，从而为开发复杂的控制策略铺平了道路。该模型基于感知输入和机器人动作之间的因果关系，采用生成模型来高效压缩融合信息并预测下一个观察值。我们首次提出了关于如何从视觉和本体感知预测触觉以及跨模态生成的研究，以及这对于软体机器人在非结构化环境中的交互的重要性。

    Apr, 2024

  • 多目标动态三维形状重建、6 自由度位姿估计和密集抓取预测实时同时完成

    本文介绍了一种新的方法，通过感知系统提供场景中所有物体的几何和语义信息，同时提供这些物体的可行抓取，以加速机器人操作的复杂度。通过详细的定量分析，我们展示了我们的方法通过在 30 帧 / 秒速度下提供竞争性能，以比较专门用于物体形状、姿态和抓取预测的最新技术方法。

    May, 2023

  • 利用注意机制的主动感知实时动作生成算法在烹饪机器人中的应用

    我们提出了一种具有注意机制的预测性循环神经网络，可以对感知输入进行加权，区分每种模态的重要性和可靠性，实现快速高效的感知和动作生成，通过学习示范训练后，机器人可以获得类似人类的技能，验证了这种技术在烹饪未知食材的鸡蛋过程中的可行性。

    Sep, 2023

  • 基于感知驱动的模块化机器人自主系统

    通过在未知环境下实现感知、高层规划和模块化硬件的集成，我们展示了一种模块化机器人系统，能够通过反应式重新配置来完成高级任务。该系统在三次硬件演示中得到验证，为模块化自重构机器人应对现实世界任务的设计奠定了基础。

    Sep, 2017

  • 基于学习感知模块和压缩理论的图像安全输出反馈运动规划

    本研究提出了一种针对不确定控制仿射非线性系统的运动规划算法，在使用高维传感器测量（如 RGB-D 图像）和一个学习感知模块的反馈控制环路时保证运行时安全性和目标可达性。

    Jun, 2022

  • 利用交互感知在杂乱场景中找到物品

    研究了基于强化学习的互动感知系统在场景探索和物体搜索方面的应用，结果表明该方法不再需要预定义的启发式模型，可在模拟和现实世界中有效地解决这一任务。

    Nov, 2019

  • 强化学习中动态物体的运动感知

    本文研究了动态环境下机器学习控制问题，提出了显式地学习动作表示可以提高学习控制器的质量，在某些情况下不需要额外的监督，通过使用图像差异来替代时序帧堆叠能够取得更好的效果。

    Jan, 2019

  • 在杂乱环境中学习感知敏捷飞行

    提出了一种基于学习的系统，通过模仿学习和强化学习的结合，实现了感知感知，在杂乱环境中实现了敏捷的飞行，并通过闭环控制演示了其性能。

    Oct, 2022