提出一种基于神经网络的模型 ToolNet,可通过人类示范学习常识知识,使机器人具有了适应新场景使用未知工具的能力,并结合常识知识仓库来预测最佳工具,结果表明该模型的正确率和普适性较传统图神经网络有明显提高。
Jun, 2020
通过生成模型学习工具使用轨迹和对应工具位姿的序列,以实现对变形物体的操纵,进而提高自治系统在常见任务(如烹饪和清洁)中的智能水平。
Sep, 2023
通过机器学习技术,训练视觉和物理多物互动理解的模型,并开发了一个基于样本的优化器来实现复杂的工具使用任务,实验表明目前此方法可以通过原始像素输入解决多种复杂的工具使用任务,能够感知和使用新的对象作为工具,同时根据需要灵活选择是否使用工具。
Apr, 2019
通过构建 TACO 数据集,该研究解决了现有技术方法对于处理单个手和物体的手 - 物体操作分析和合成的局限性,并通过三个可推广的手 - 物体交互任务(组合动作识别、可推广的手 - 物体运动预测和合作抓取合成)来提供广泛的研究领域,从而为推进可推广的手 - 物体运动分析和合成研究提供了新的见解、挑战和机遇。
Jan, 2024
通过我们提出的一种新方法,仅使用单个演示,我们实现了工具使用行为的强化学习,通过给予初值设定和形状奖励信号的引导来解决多指机械手抓取配置的推广问题,并实现复杂的工具使用任务并在测试时推广到未见过的工具。
Jul, 2023
本文提出了一个任务导向抓取网络 (TOG-Net),通过大规模模拟自我监督与程序生成的工具对象,同时优化工具的任务导向抓取和操纵策略。模型在打扫和敲打两个任务中表现出较高的成功率,并取得了显著的效果。
Jun, 2018
我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能,采用分解方法从人类视频数据中学习人类如何完成期望任务,并将其转化为机器人的行为,从而实现零样本通用操作。
Dec, 2023
该研究揭示家庭机器人在执行长期任务时通过使用三维编码和视觉语言模型可实现客观目标定位;通过实证研究,该研究表明该方法优于以往的同类工作并适用于实际机器人平台。
Jan, 2023
通过语义增强和行为表征,我们开发了一个高效的系统(RoboAgent)来训练具备多任务操作技能的通用智能体,使用少量多样的多模态数据集,能够展示不同的技能并在新颖的场景中表现出很好的泛化性能。
本文介绍了一种神经符号 (混合) 组合推理模型,以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明,该方法达到了非常高的准确性,同时可以进行少量的视觉微调,从而实现了真实场景的可转移性。
Oct, 2022