ZePHyR: 零样本姿态假设评分
本文介绍一个新的零样本视角估计管道,主要基于 3D 模型的零样本实例分割和零样本姿态估计。实验结果表明,该方法在速度和计算成本方面优于当前零样本状态的最佳方法。
May, 2023
提出了一种名为 PoMZ 的新方法,通过融合预训练的几何和图像模型,实现了零样本物体 6D 位姿估计的最新进展,该方法无需任务特定的微调,在 BOP 基准测试中在无法见到的物体的 6D 定位领域取得了第一名。
Dec, 2023
基于单摄像头的 3D 姿势估计一直是个不确定问题,本研究提出了 Platypose 框架,利用预训练的扩散模型对零样本的 3D 姿势序列估计进行更好的多假设运动估计,同时在静态姿势和校准方面取得了最先进的结果。
Mar, 2024
通过使用预训练的 Vision Transformers(ViT)提取的视觉描述符,我们引入了 ZS6D 方法,用于零样本新目标 6D 姿态估计,该方法在众多最新的姿态估计方法上表现卓越,无需进行特定任务的微调。我们在 LMO、YCBV 和 TLESS 等三个数据集上进行了实验,并与两种方法进行了比较,结果在所有三个数据集上相较于其中一种方法有显著提升,在两个数据集上相较于另一种方法有提升。
Sep, 2023
提出了一种不需要姿态标注的类别级三维物体姿态估计方法,通过使用扩散模型生成一组具有姿态差异的图像,并利用图像编码器和新颖的学习策略解决噪声和伪影问题,实现了从单次拍摄中对类别级物体姿态的估计,并在少样本类别级物体姿态估计基准上显著优于其他先进方法。
Apr, 2024
通过单个参考视图与查询图像之间的相对物体姿态估计,我们提出了一种基于假设和验证框架的新方法,并引入了一种 3D 感知验证,以衡量可靠性,证明了我们方法在相对姿态估计和处理未见过的物体时的鲁棒性。
Oct, 2023
本文研究了在只有一个示范、没有进一步的数据收集和没有先前的任务或对象知识的挑战性环境下的模仿学习,并展示了如何在这些限制条件下将模仿学习表述为轨迹转移和未见物体姿态估计的组合。通过对十个真实世界任务进行一次性模仿学习,我们深入研究了最先进的未见物体姿态估计器在性能上的表现,并深入了解了相机标定、姿态估计误差和空间泛化对任务成功率的影响。
Oct, 2023
本文提出了一种使用非样式化虚拟人形变形训练,再通过本文中引入的半监督形状理解和隐式姿态变形模块,实现对来自其他类型非样式化形体的样式化角色的姿态转移,实现无需标注对应点的零样本学习。同时,引入了一种基于体素的测试训练过程,加强了对四足动物类别等注释罕见类别样式化人形的逼真变形。
May, 2023
本文提出了一种基于 three-view 系统的 PoseMatcher 模型来进行精确的无模型一次性物体位姿估计,同时引入了 IO-Layer 进行有效信息的交叉注意力,还设计了对象点云下的基于数字图像处理的目标选取和定位算法。实验结果证明该方法在 Linemod 和 YCB-V 数据集上表现优异。
Apr, 2023