Apr, 2024

神经装配器：从多视图图像中学习生成细粒度的机器人组装指令

PDF
TL;DR一篇关于图像引导物体组装的研究论文介绍了一项新任务：将结构 3D 模型的多视角图像（例如，从 3D 对象库中选择的积木构建而成的模型）翻译成可由机器人臂执行的详细组装指令序列。该论文提出了一种名为神经组装者的端到端模型，通过学习图形对象图来识别图像中的组件，并通过边指定 3D 模型的拓扑结构，从而得出组装计划，并进行了全面的实证评估，证明了神经组装者的优越性。
image-guided object assemblymulti-view imagesstructural 3d modelassembly instructionsneural assembler
发现论文，激发创造
  • 从单张图片中学习 3D 零件组装

    该文章提出了一种用单张图片指导的三维部件自动组装的方法，该方法采用包括二维三维对应和面向组装的图传递等技术解决难题并证明了其高效性。

    Mar, 2020

  • 动态图学习生成三维零件装配

    该论文提出了一种基于动态图卷积神经网络的自主部件组装方法，主要解决了几何和关系推理的部件姿态估计子问题，从而将输入部件组装成一个 3D 形状。

    Jun, 2020

  • RGL-NET：一种递归图学习框架，用于渐进式零件组装

    本文提出了一种基于递归图学习的自主组装物体的新方法，通过考虑零件之间的相互关系和部件姿态的逐步更新，实现了对具有结构变异的物体的组装。该网络在 PartNet 数据集上相对于现有技术实现了 10% 的部件精度和 15% 的连通性精度的提升，同时具备从点云组件中恢复形状结构的潜在应用。实验证明了该方法的有效性。

    Jul, 2021

  • 将视觉乐高手册翻译成可执行机器计划

    本文研究的是将由人设计师创建的基于图像的逐步组装手册翻译成为机器可解释指令的问题，采用一种基于学习的框架，即 MEPNet，该框架通过对逐步手册图像序列的重建来重建组合步骤，通过神经网络的 2D 关键点检测模块和 2D-3D 投影算法来预测 3D 姿态。

    Jul, 2022

  • DiffAssemble：二维和三维重新组装的统一图扩散模型

    DiffAssemble 是基于图神经网络（GNN）的架构，通过扩散模型的形式学习解决重组任务。它在大多数 2D 和 3D 重组任务中实现了最先进的结果，并且是第一个解决旋转和平移 2D 拼图的基于学习的方法。此外，我们强调它在运行时间上的显着降低，比快速的基于优化的拼图方法快了 11 倍。

    Feb, 2024

  • 从物体点云中学习家具装配

    本文介绍了一种基于学习的方法，使用模拟环境实现家具组装规划，无需连接标签，仅依靠原始点云图像来训练神经网络以成功组装不同类型的家具。

    Sep, 2022

  • 多层次推理用于机器人装配：从序列推断到接触选择

    将物体的装配从其组成部分自动化是一个复杂的问题，具有生产制造、维护和再生利用等无数应用。我们的研究提出了一个整体多层次的部件装配规划框架，包括部件装配顺序的推理、部件运动规划和机器人接触优化。我们通过引入大规模部件装配序列数据集（D4PAS）来训练 Part Assembly Sequence Transformer （PAST）神经网络，实验结果表明我们的方法相比之前的方法具有更好的泛化性能，且推理过程所需的计算时间显著减少。

    Dec, 2023

  • GBOT: 基于图形的增强现实辅助装配导向的三维物体跟踪

    图形化对象追踪（GBOT）是一种基于图形的单视角 RGB-D 追踪方法，可用于实现上下文感知的增强现实组装指导。

    Feb, 2024

  • 高精度装配任务的深度强化学习

    通过强化学习训练循环神经网络，机器人成功地在高精度装配机械零件过程中，表现出更高的精度和鲁棒性。

    Aug, 2017

  • 半监督式少样本学习的神经视图合成与匹配于 3D 姿态

    本文提出了一个基于神经网络视图合成和匹配的学习框架，通过生成的伪标签来学习众多未标注图像中的物体 3D 姿态估计，同时结合 EM 算法的方式，逐步提高特征提取器在不同 3D 视角下的不变性，并通过在 PASCAL3D+ 和 KITTI 数据集上进行的实验证明，该方法在少样本学习下，尤其是掩盖度极高的情况下，比其他基线方法表现更好，且具有出色的鲁棒性。

    Oct, 2021