关节感知规范表面映射
本文提出了一种不能手动标注分类的画面的自动标注方法,只需要利用前景蒙版,结合几何周期性损失函数,实现了 3D 模型上的像素点映射及 3D 投影,并且可以推断两个图像之间的密集对应关系。
Jul, 2019
本文提出了一种名为 DensePose 3D 的方法,通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体(例如人和动物)的三维重建,同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分,再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影,与基于非刚性结构运动的最新基线方法相比,在合成和真实数据上对人和动物进行了显著改进。
Aug, 2021
本论文提出了一种基于自监督学习的方法,仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示,从而实现这些语义维度的独立控制,该方法不需要形态学的注释,相对于现有的采用 3D 直接监督的各种方法,使用本方法只需 2D 观测即可恢复更精准的几何和外观,并且具有少样本重建、新关节生成和新视角综合生成等众多应用。
May, 2022
这篇论文提出了一种基于自监督学习的方法,通过部分等变形状分析提取规范形状和物体姿态,再通过刚性变换描述部件从规范空间到相机空间的转换,实现未知关节感知物体的层次化姿态估计。
Feb, 2023
通过神经网络模型,本研究提出一种新的框架来明确分解关节物体的部分运动,通过预测部分表面上的点的转换矩阵,使用空间连续的神经隐式表示来平滑地建模部分运动,在对不同类别的关节物体进行实验的数量化和质量化结果证明了我们的方法的有效性。
Nov, 2023
在机器人领域中,重建现实世界物体并估计其可移动关节结构是核心技术。我们提出了一种自我监督的交互感知方法 SM$^3$,通过利用交互前后捕捉的多视角 RGB 图像,来建模关节物体、识别可移动组件和推断旋转关节参数。通过从捕捉到的 2D 图像中构建 3D 几何和纹理,SM$^3$ 在重建过程中实现可移动组件和关节参数的综合优化,无需注释。此外,我们还引入了 MMArt 数据集,它是 PartNet-Mobility 的扩展,包含多视角和多模态的涵盖多种类别的关节物体数据。评估结果显示,在各个类别和物体上,SM$^3$ 优于现有的基准,并且其在现实场景中的适应性已经得到了充分验证。
Jan, 2024
该研究提出了一种基于生成对抗网络(GAN)的无监督 3D 几何感知表征学习方法,成功地实现了对复杂关节动态物体的控制性 3D 表征的学习,同时避免了传统方法需要用昂贵的标注数据,在实践中具有较好的效果和效率。
Apr, 2022
本文介绍了一种使用深度图像实现类别级姿态估计的新方法,该方法基于 Articulation-aware Normalized Coordinate Space Hierarchy(ANCSH)构建了一种针对不同类别中的关节控制物体各个部分的规范表示,并提出了基于 PointNet ++ 的深度网络来预测 ANCSH。实验结果表明,该模型能够实现更好的物体姿态估计和关节参数估计。
Dec, 2019
本文提出了一种新的运动表示方法,能够自动分离物体中的不同部分,并追踪它们的运动,从而可以更好地进行动画制作。该方法基于完全无监督的学习,提取出有意义且一致的区域表示物体的位置、形状和姿态,适用于各种物体,并且性能超过现有的方法。
Apr, 2021