Nov, 2023

使用主动感知运动策略学习物理特性

PDF
TL;DR基于图像颜色的地形物理特性知识可以帮助制定高效的机器人行动计划，但是与图像分类不同，人类对图像区块进行物理特性标注不直观。为了克服没有标注数据的困难，我们提出一种方法，通过自监督标记在真实世界遍历中由机器人拍摄的图像，结合在仿真中训练的物理属性估计器。为了确保准确标记，我们引入了主动感知驱动策略（ASMP），它们被训练用于探索提高物理参数估计准确性的行动行为。我们展示了使用少量真实世界遍历数据训练的视觉系统准确预测物理参数。该训练好的系统即使使用由固定在四足机器人行走地面上的相机采集的数据进行训练，也能够稳健地在被无人机拍摄的顶部图像上工作。
terrain's physical propertiesrobotic locomotion plansself-supervised labelingphysical property estimatorsactive sensing motor policies
发现论文，激发创造
  • 通过信念空间控制学习主动触觉感知

    机器人在开放环境中操作时，会遇到未知的物理特性的新对象，需要通过交互来感知这些特性，并利用生成的世界模型来估计物体的物理参数，并开发一种信息收集模型预测控制器，以自主学习触觉探索策略。我们的研究在虚拟环境中评估了这种方法，发现我们的方法能够以直观的方式高效地收集关于所需特性的信息。最后，我们在真实机器人系统上验证了我们的方法，成功地从零开始学习和执行信息收集策略以估计物体的高度。

    Nov, 2023

  • 从人类演示中学习语义感知的运动技能

    该研究提出了一个从感知中学习语义导向运动技能的框架，以使四足机器人可以穿越复杂的越野地形在感知信息的帮助下以适当的速度和步态进行行走。

    Jun, 2022

  • 使用稀疏视觉观察学习在不平坦地形上的感知运动

    使用稀疏的视觉观察来实现知觉运动，并提出一种学习框架以有效地学习反馈控制策略，可在人类中心的环境中在道路上行驶，越过不同的障碍，包括台阶、斜坡、间隙和楼梯。

    Sep, 2021

  • 无监督声学特征学习的自监督视觉地形分类

    提出了一种利用无监督感知分类器自我监督外感图像的像素级语义分割的新型地形分类框架，通过学习极少标注图像的弱监督训练，能够在未知城市环境中为移动机器人提供更安全和高效的导航。

    Dec, 2019

  • 基于视觉的自主无人机赛车的深度感觉运动策略学习

    通过学习深度的感知动作策略，使用对比学习从输入图像中提取固定特征表示，通过两阶段的作弊式学习框架训练神经网络策略，将视觉驱动的自主无人机竞赛问题转化为了提取原始图像的特征表示进行控制命令推断，无需全局一致的状态估计、轨迹规划和手工控制设计。该方法不仅可使控制策略更具有鲁棒性，而且可以实现与状态法相同的赛车性能，为开发纯靠图像输入控制无人机的智能视觉自主系统铺平了道路。

    Oct, 2022

  • 学习对象属性规划

    本文提出了一种利用符号规划的方法，采用先前的训练数据自动训练神经网络识别物体属性的方法，并使用规划技术来自动化训练数据集的创建和学习过程。最后，我们在模拟和真实环境中进行了实验评估，结果表明所提出的方法能够成功地学习如何识别新的物体属性。

    Jan, 2023

  • 未知杂乱环境中的机器人主动神经感知与规划

    本篇研究提出了一种主动感知的机器人模型，通过视觉观测、场景建模以及物体形状推断，生成机器人示意图的可行运动路径，以达到在未知，复杂环境下收集足够视觉观测数据的目的。基于人工合成的数据集，实现了在实际狭小、遮盖的环境中进行物体还原的过程，并证明了其在规划和视角数等方面的高效性。

    Aug, 2022

  • 使用可微分物理学从视频中学习识别物理参数

    本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络，并确定物理属性。实验中，我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性，我们还比较了我们的受监督和自我监督方法的准确性，并展示了我们的方法预测未来视频帧的能力。

    Sep, 2020

  • 利用本体感知数据提升具有不确定性的空间探索机器人的地形分类

    在空间探索中，地形分类是一项重要任务，其中无法预测的环境难以仅依靠外部感知传感器（如视觉）进行观测。通过引入神经网络分类器，可以实现高性能，但由于缺乏透明性，这使得它们在任务规划中做出重要决策时不可靠。本文提出了一种带有不确定性量化的神经网络地形分类方法。我们通过在时间序列可用体系结构中使用只有本体感知数据作为输入的蒙特卡洛 Dropout、DropConnect 和 Flipout，使神经网络得以提高。我们使用超带状贝叶斯优化进行高效的超参数优化，以找到值得信赖的地形分类的最佳模型。

    Jul, 2024

  • 野外 AMP：学习强健、敏捷、自然的腿部运动技能

    本文提出了一种新的算法，可以推断关于动态系统参数的信息，同时从先前的观察中估计有关机器人状态的重要信息，并将其与 Adversarial Motion Priors 结合，实现了机器人在真实世界中稳定、灵活和自然的步态，从实验结果中发现相对于基线算法，我们提出的算法能够以更低的功耗遍历具有挑战性的地形。

    Apr, 2023