ECCVJul, 2022

将视觉乐高手册翻译成可执行机器计划

PDF
TL;DR本文研究的是将由人设计师创建的基于图像的逐步组装手册翻译成为机器可解释指令的问题，采用一种基于学习的框架，即 MEPNet，该框架通过对逐步手册图像序列的重建来重建组合步骤，通过神经网络的 2D 关键点检测模块和 2D-3D 投影算法来预测 3D 姿态。
assembly manualmachine-interpretable instructionssequential prediction task3d pose estimationmepnet
发现论文，激发创造
  • 神经装配器：从多视图图像中学习生成细粒度的机器人组装指令

    一篇关于图像引导物体组装的研究论文介绍了一项新任务：将结构 3D 模型的多视角图像（例如，从 3D 对象库中选择的积木构建而成的模型）翻译成可由机器人臂执行的详细组装指令序列。该论文提出了一种名为神经组装者的端到端模型，通过学习图形对象图来识别图像中的组件，并通过边指定 3D 模型的拓扑结构，从而得出组装计划，并进行了全面的实证评估，证明了神经组装者的优越性。

    Apr, 2024

  • 从单张图片中学习 3D 零件组装

    该文章提出了一种用单张图片指导的三维部件自动组装的方法，该方法采用包括二维三维对应和面向组装的图传递等技术解决难题并证明了其高效性。

    Mar, 2020

  • 从像素和自然语言指令中学习解决体素建筑任务

    采用预训练语言模型生成行动计划是一种很有前途的研究策略，本文提出了一种新的方法，将语言模型与强化学习相结合，用于在类似 Minecraft 的环境中按照自然语言指令构建对象，在 IGLU 2022 竞赛中形成了强化学习基线。

    Nov, 2022

  • IKEA-Manual: 逐步看清造型组装

    本文介绍了 IKEA-Manual 数据集，提供了 102 个 IKEA 物体的图形化组装手册，包含细致全面的注释，以解决目前在构建能够执行装配任务的代理时，忽略了人类设计手册的信息的问题。该数据集有助于提高组装计划生成、部件分割、姿态估计和 3D 部件组装的效率。

    Feb, 2023

  • 动态图学习生成三维零件装配

    该论文提出了一种基于动态图卷积神经网络的自主部件组装方法，主要解决了几何和关系推理的部件姿态估计子问题，从而将输入部件组装成一个 3D 形状。

    Jun, 2020

  • PlankAssembly：基于三个正交视图和学习形状程序的鲁棒三维重构

    该论文介绍了一种新的方法，可以自动将来自三个正交视图的 2D 线条图转换为 3D CAD 模型。该方法利用基于 Transformer 的序列生成模型中的注意机制，学习输入到输出之间的灵活映射，通过设计适用于生成感兴趣对象的形状程序来提高重建精度并促进 CAD 建模应用。在一个新的基准数据集上的实验证明，当输入有噪声或不完整时，我们的方法明显优于现有方法。

    Aug, 2023

  • 通过翻译人类交互计划实现推广的零射击操作

    我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。

    Dec, 2023

  • 基于 Transformer 的视觉引导规划在程序化任务中的应用

    使用人类决策过程的教学视频培训模型，学习从视频中直接生成可规划结构的状态和行动空间，并使用 Planning Transformer 解决了长期决策的复杂性问题，并通过实验证明了其在达到目标方面的良好性能表现。

    Sep, 2021

  • 在物理约束条件下从观测数据中进行装配计划的规划

    该论文提出了一种利用物理稳定性约束和优化算法进行拼装的方法，该方法使用从单个摄影中提取的信息进行对象检测和姿态估计，并且对于任何实际机器人系统中不可避免的对象检测和姿态估计误差具有鲁棒性，并且已在 UR5 机械臂上进行了全面实验。

    Apr, 2022

  • BrickPal：基于增强现实的积木模型装配指南

    利用增强现实技术的 BrickPal 系统，结合自然语言处理技术生成装配指南，通过 AR 头显提供实时指导，有效地帮助用户进行积木组装，NLP 算法生成的装配序列与人工调整的序列有相同的可用性。

    Jul, 2023