KeypointDeformer: 无监督 3D 关键点发现的形状控制
本文提出了一种采用非监督学习的方法,从未知类别的物体的三维点云中学习特定于类别的三维关键点,使用对称线性基础形状模型描述特定于类别的形状,并证明了该方法能够得到几何和语义方面的一致的关键点。
Mar, 2020
该文介绍了一种学习 3D 几何结构的算法,可用于从高维图像中学习感觉运动控制策略,其发现的 3D 关键点能够在时间和 3D 空间上一致地捕获机器人关节和物体移动,成果在强化学习基准测试中优于之前的最佳方法。
Jun, 2021
本文提出了 KeypointNet,这是一个端到端的几何推理框架,用于学习一组最优的类别特定 3D 关键点及其检测器。 通过对一张单独图片,KeypointNet 提取出用于下游任务优化的 3D 关键点,我们在 3D 姿势估计方面展示了这种框架,并提出了一个可微的目标,以寻求在两个对象视图之间恢复相对姿态的最佳关键点集。我们的模型在对象类别的不同视角和实例之间发现了几何和语义一致的关键点,重要的是,我们发现我们的端到端框架在不使用地面真值关键点注释的情况下胜过使用相同神经网络架构的完全监督基线在姿势估计任务上,在 ShapeNet 的汽车,椅子和飞机类别上可视化出发现的 3D 关键点。
Jul, 2018
基于 3D 连续性,我们通过从大规模 SfM 中训练探测器来直接学习关键点,并且通过分离的网络最大化互相最近邻目标来训练描述符。结果表明,我们的方法 DeDoDe 在多个几何基准测试中取得了显著的增益。
Aug, 2023
三维姿势转换的主要挑战是:1)没有不同角色执行相同姿势的配对训练数据;2)从目标网格中分离姿势和形状信息;3)难以应用于具有不同拓扑结构的网格。因此,我们提出了一种新颖的弱监督基于关键点的框架以克服这些困难。具体而言,我们使用一种与拓扑无关的关键点检测器和逆向运动学来计算源网格与目标网格之间的变换。我们的方法只需要对关键点进行监督,可以应用于具有不同拓扑结构的网格,并且对于目标来说是形状不变的,可以从目标网格中提取仅限于姿势的信息而不传递形状信息。我们进一步设计了一个循环重建来执行自监督姿势转换,而不需要具有与目标和源相同姿势和形状的地面实况变形网格。我们在基准人类和动物数据集上评估了我们的方法,在那里与最先进的无监督方法相比达到了卓越的性能,甚至与完全监督的方法相比具有可比性的性能。我们在更具挑战性的 Mixamo 数据集上进行测试,以验证我们的方法处理具有不同拓扑结构和复杂服装能力。跨数据集评估进一步展示了我们方法的强大泛化能力。
Jul, 2023
提出了一种新方法来从噪声、降采样和任意旋转的实际场景中对任意对象类别进行关键点推断的方法,该方法是完全无监督的,关键点位置误差低,对点云数据扰动具有弹性,关键点保持其索引的语义一致性,且靠近点云数据表面,并在对象的三维形状下游任务中具有改进的覆盖范围和语义一致性。
Aug, 2023
本研究旨在学习控制和强化学习(RL)有用的对象表示。我们介绍了 Transporter,这是一种神经网络体系结构,用于以关键点或图像空间坐标的形式发现简明的几何对象表示。
Jun, 2019
本文提出了 UKPGAN,一种基于自我监督的 3D 关键点检测器,通过生成对抗网络与显著信息提炼模块,定位出重要的关键点,进而对物体进行对齐和重建,实验结果表明本方法能够在不同的非刚性变形下处理 SMPL 人体,并具有较好的稳定性和几何注册性能,同时适用于真实场景下的物体检测。
Nov, 2020
本文提出了 KeypointGAN 方法,通过从未标注的视频和基于弱领域先验知识的学习,仅使用单个图像就可以识别物体的姿态,利用一个新的物体的双重表示方法,并且这种方法可以在不使用标注图像的情况下获得最新的成果。
Jul, 2019