Sep, 2023

利用注意机制的主动感知实时动作生成算法在烹饪机器人中的应用

PDF
TL;DR我们提出了一种具有注意机制的预测性循环神经网络，可以对感知输入进行加权，区分每种模态的重要性和可靠性，实现快速高效的感知和动作生成，通过学习示范训练后，机器人可以获得类似人类的技能，验证了这种技术在烹饪未知食材的鸡蛋过程中的可行性。
发现论文，激发创造
  • 实时机器人运动生成的深度主动视觉注意力：工具 - 身体融合和自适应工具使用的出现

    本文提出了一种启发于人类认知结构的新型机器人运动生成模型，其中包含了一个状态驱动的主动自上而下的视觉关注模块，该模块能够基于任务状态主动改变目标，并在机器人使用工具任务中对机器人的夹持器和工具进行感知，这类似于生物现象 - 工具身体同化。结果表明，该模型的视觉感知具有更好的灵活性。

    Jun, 2022

  • 实时感知遇上反应式动作生成

    研究了机器人在存在不确定性情况下的抓取和操纵问题，提出了连续实时感知和反应运动生成方法在动态操纵场景中的重要性，并比较了三种不同的系统架构。通过在真实机器人平台上进行四个场景的广泛评估，量化了反应运动生成系统中不同时间尺度实时反馈融合的鲁棒性和准确性，并报告了系统建设中的经验教训。

    Mar, 2017

  • 利用预训练的视觉 - 语言模型和黑盒优化的烹饪机器人连续物体状态识别

    通过使用预训练的大规模视觉语言模型，我们提出了一种通过口语识别烹饪机器人中食物的持续状态变化的方法，并通过调整每个文本提示的权重，通过适应相似性变化到 sigmoid 函数并进行黑盒优化，实现了更准确和稳健的持续状态识别。通过对水煮沸、融化黄油、煮鸡蛋和炒洋葱的识别，我们展示了该方法的有效性和局限性。

    Mar, 2024

  • 面向人形机器人的积极推断身体感知和动作

    通过在仿生系统中应用主动推理身体感知和行为模型，能够在机器人上实现适应性身体感知和动作，并分析该方法适用于现实世界的交互。

    Jun, 2019

  • 通过学习人类关注特征图增强机器人学习

    本文提出一种新颖的方法来模拟和模拟人类注意力的近似预测模型，并将其作为结构化辅助特征图输入到下游学习任务中，通过在物体检测和模仿学习两个任务中的应用实验证明了人类注意力的预测可以提高训练模型的鲁棒性和在低数据情景下的快速学习。

    Aug, 2023

  • 人体运动预测的多层动作注意力

    介绍了一种基于注意力机制的前馈神经网络，利用运动的重复性和历史上下文进行运动预测，通过图卷积网络对历史数据的运动模式进行有效利用，取得了三个数据集上最先进的结果。

    Jun, 2021

  • 双手操控半流体物体的机器人炒菜技术

    提出使用可学习的变形对象操作框架来让双臂机器人系统能够实现拌炒烹饪。首先定义了一个规范的拌炒动作，然后通过图结构和变形器模型 Structured-Transformer 来捕捉双臂运动的时空关系，最后加入视觉反馈，实现了自动适应运动，可以实现炒菜并有望推广到其他可变形物体的双臂协调操作。

    May, 2022

  • 历史重演：基于动作注意力的人体动作预测

    通过引入基于注意力机制的前馈神经网络模型，提取了历史运动细节的相似性，建模了运动模式，并在人类行为数据集上实现了最先进的人体运动预测效果。

    Jul, 2020

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 移动操作的主动感知运动生成

    通过主动感知管道，我们在移动机器人中引入一种能够在未知、杂乱环境中进行抓取等操作的机器人运动生成方法，通过最大化视觉信息增益和任务目标达成的效率来权衡重构未知场景，以及实现了我们的移动抓取策略在真实世界中的传递。

    Sep, 2023