从单张图片中学习3D零件组装
本文提出了一种自我监督的数据收集流程,通过对完整套件进行拆卸来获得物体与放置位置的对应关系,进而在视觉输入下学习形状描述符,以便将物体组装到各种套件中,以及实现拾取和放置策略,并实现了针对不同初始条件的高成功率。
Oct, 2019
本文提出了一种基于递归图学习的自主组装物体的新方法,通过考虑零件之间的相互关系和部件姿态的逐步更新,实现了对具有结构变异的物体的组装。该网络在PartNet数据集上相对于现有技术实现了10%的部件精度和15%的连通性精度的提升,同时具备从点云组件中恢复形状结构的潜在应用。实验证明了该方法的有效性。
Jul, 2021
本文介绍了一个新颖的任务:一对 3D 几何形状配合,并提出了神经形状配合(NSM)来解决此问题。通过关注形状对齐而不是语义线索,我们可以实现跨类别的泛化,NSM 可以在不同设置下有效地运作,并且通过自我监督数据收集流水线进行训练。
May, 2022
本文研究的是将由人设计师创建的基于图像的逐步组装手册翻译成为机器可解释指令的问题,采用一种基于学习的框架,即 MEPNet,该框架通过对逐步手册图像序列的重建来重建组合步骤,通过神经网络的 2D 关键点检测模块和 2D-3D 投影算法来预测 3D 姿态。
Jul, 2022
本文介绍了IKEA-Manual数据集,提供了102个IKEA物体的图形化组装手册,包含细致全面的注释,以解决目前在构建能够执行装配任务的代理时,忽略了人类设计手册的信息的问题。该数据集有助于提高组装计划生成、部件分割、姿态估计和3D部件组装的效率。
Feb, 2023
将物体的装配从其组成部分自动化是一个复杂的问题,具有生产制造、维护和再生利用等无数应用。我们的研究提出了一个整体多层次的部件装配规划框架,包括部件装配顺序的推理、部件运动规划和机器人接触优化。我们通过引入大规模部件装配序列数据集(D4PAS)来训练Part Assembly Sequence Transformer (PAST)神经网络,实验结果表明我们的方法相比之前的方法具有更好的泛化性能,且推理过程所需的计算时间显著减少。
Dec, 2023
我们提出了一种基于部分-整体-层次的消息传递网络,通过预测超级部分的位姿来有效实现3D部件的组装。实验结果表明,我们的方法在部件和连通性准确性方面取得了最先进的性能,并实现了可解释的分层部件组装。
Feb, 2024
SPAFormer是一种创新型模型,旨在解决3D零件组装任务中的组合爆炸挑战,通过利用装配序列的弱约束来降低解空间的复杂性,提供更好的通用性能和长期视野组装的策略。
Mar, 2024
一篇关于图像引导物体组装的研究论文介绍了一项新任务:将结构3D模型的多视角图像(例如,从3D对象库中选择的积木构建而成的模型)翻译成可由机器人臂执行的详细组装指令序列。该论文提出了一种名为神经组装者的端到端模型,通过学习图形对象图来识别图像中的组件,并通过边指定3D模型的拓扑结构,从而得出组装计划,并进行了全面的实证评估,证明了神经组装者的优越性。
Apr, 2024