基于 3D 模型的零样本姿态估计流水线
提出了一种名为 PoMZ 的新方法,通过融合预训练的几何和图像模型,实现了零样本物体 6D 位姿估计的最新进展,该方法无需任务特定的微调,在 BOP 基准测试中在无法见到的物体的 6D 定位领域取得了第一名。
Dec, 2023
本研究提出了一种用于零样本目标位姿估计的方法,该方法采用假设产生和评分框架,并专注于学习适用于训练中未使用的物体的评分函数,通过对无序点差异的函数对假设进行评级以实现零样本泛化,实验结果表明,该方法在具有纹理和无纹理物体的混乱场景中显著优于以前的方法。
Apr, 2021
本文提出了一种使用非样式化虚拟人形变形训练,再通过本文中引入的半监督形状理解和隐式姿态变形模块,实现对来自其他类型非样式化形体的样式化角色的姿态转移,实现无需标注对应点的零样本学习。同时,引入了一种基于体素的测试训练过程,加强了对四足动物类别等注释罕见类别样式化人形的逼真变形。
May, 2023
本文提出一种基于分割的 6D 姿态估计框架,使用关键点检测获取局部姿态预测,并根据置信度预测将这些姿态候选融合成可靠的 3D-to-2D 对应关系,从而在多个低纹理物体相互遮挡的情况下获得最优姿态估计,其采用简单且高效的架构实现实时性能。
Dec, 2018
本文提出了一种基于 three-view 系统的 PoseMatcher 模型来进行精确的无模型一次性物体位姿估计,同时引入了 IO-Layer 进行有效信息的交叉注意力,还设计了对象点云下的基于数字图像处理的目标选取和定位算法。实验结果证明该方法在 Linemod 和 YCB-V 数据集上表现优异。
Apr, 2023
我们设计了一种新的零样本三维部分分割流水线 ZeroPS,它可以将二维预训练基础模型的知识高质量地传递到三维点云中。我们的方法主要基于多视图对应和基础模型的提示机制之间的自然关系,并在此基础上建立桥梁。我们的流水线包括两个组件:1) 自扩展组件,将单个视角的二维组扩展到三维全局级组;2) 多模态标记组件,引入二维检查机制,将每个二维预测的边界框投票至最佳匹配的三维部件,并使用类非最高投票惩罚函数来优化投票矩阵。此外,还包括一种合并算法来合并部件级的三维组。在 PartnetE 数据集上对三个零样本分割任务进行了广泛评估,相比现有方法,取得了显著改进的最新成果(分别提高了 19.6%,5.2%和 4.9%)。我们的方法不需要任何训练、微调或可学习参数,并且几乎不受领域变化的影响。代码将公开发布。
Nov, 2023
通过使用预训练的 Vision Transformers(ViT)提取的视觉描述符,我们引入了 ZS6D 方法,用于零样本新目标 6D 姿态估计,该方法在众多最新的姿态估计方法上表现卓越,无需进行特定任务的微调。我们在 LMO、YCBV 和 TLESS 等三个数据集上进行了实验,并与两种方法进行了比较,结果在所有三个数据集上相较于其中一种方法有显著提升,在两个数据集上相较于另一种方法有提升。
Sep, 2023
提出了一种不需要姿态标注的类别级三维物体姿态估计方法,通过使用扩散模型生成一组具有姿态差异的图像,并利用图像编码器和新颖的学习策略解决噪声和伪影问题,实现了从单次拍摄中对类别级物体姿态的估计,并在少样本类别级物体姿态估计基准上显著优于其他先进方法。
Apr, 2024
通过结合基于优化和基于学习的方法,我们提出了 Zero-shot Diffusion-based Optimization (ZeDO) 管线,用于解决跨领域和野外环境下的 3D 人体姿态估计问题,并在多种数据集上实现了最先进的性能。
Jul, 2023
在大型工业空间中,物体定位尤其是物体姿态估计对于物料流动操作至关重要。本文提供了一种在大型单目图像数据集上进行标注而无需人工劳动的方法,通过定位空间中的摄像头、将它们的位置与动作捕捉系统统一,以及使用一组线性映射将感兴趣物体的三维模型投影到其真实位置。在工业环境中的自定义数据集上测试,我们的方法能够以人工标注者所需时间的一小部分为数据集中的 26,482 个物体实例提供一致的高质量标注。
Oct, 2023