野外无需人类标注的点云三维人体关键点估计
提出了一种新方法来从噪声、降采样和任意旋转的实际场景中对任意对象类别进行关键点推断的方法,该方法是完全无监督的,关键点位置误差低,对点云数据扰动具有弹性,关键点保持其索引的语义一致性,且靠近点云数据表面,并在对象的三维形状下游任务中具有改进的覆盖范围和语义一致性。
Aug, 2023
本文提出了一种基于 Few-shot learning 的填充关键点标注鲁棒性方法,通过少数的半监督数据和大量的自监督数据,在各种不同的物体类别中实现了语义一致的关键点定位和更准确的 3D 几何重建局部特征的二维定位。
Mar, 2023
本文提出了一种采用非监督学习的方法,从未知类别的物体的三维点云中学习特定于类别的三维关键点,使用对称线性基础形状模型描述特定于类别的形状,并证明了该方法能够得到几何和语义方面的一致的关键点。
Mar, 2020
通过采用无监督学习技术,基于来自单个图像的 2D 骨架关节,我们提出了一种恢复 3D 人体姿势的方法,该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入,并生成相应的 3D 骨架估计,其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据,并通过自适应正则化机制使域适应效果更好。最终,在 Human3.6M 数据集上,我们的方法对无监督三维 lifting 的改进达到了 30%,并且优于许多明确使用 3D 数据的弱监督方法。
Apr, 2019
本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法,通过自监督学习,在不需要人类标注的情况下,实现可转移的三维点云表示,通过最大化点云和相应渲染的二维图像之间的协议,实现了三维物体分类和分割等多项任务,并验证了我们的方法在提高点云理解方面的效果。
Mar, 2022
本文提出了一种基于 3D 自监督学习的点云学习方法,通过旋转点云实现无标签的自我监督,在形状分类和 3D 关键点预测等任务上表现出色,学习到的特征优于其他自监督方法。
Aug, 2020
本文介绍了一种半监督的方法,使用少量标记图像和大量未标记图像同时学习关键点热图和姿态不变的关键点表示,关键点表示的语义一致性约束加以保证,并通过特征空间将图像及其扩充副本的关键点表示紧密地联系在一起,以实现对于人类和动物身体特征点的本土化定位,并在多项基准测试中显著优于先前的方法。
Jan, 2021
通过探索图像和点云之间的关系并设计有效的特征对齐策略,我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务,在没有任何 3D 标签的情况下,我们的方法利用 KITTI360 和 GTA5 的知识,在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能,相比现有的无监督和弱监督基准。
Sep, 2023
三维姿势转换的主要挑战是:1)没有不同角色执行相同姿势的配对训练数据;2)从目标网格中分离姿势和形状信息;3)难以应用于具有不同拓扑结构的网格。因此,我们提出了一种新颖的弱监督基于关键点的框架以克服这些困难。具体而言,我们使用一种与拓扑无关的关键点检测器和逆向运动学来计算源网格与目标网格之间的变换。我们的方法只需要对关键点进行监督,可以应用于具有不同拓扑结构的网格,并且对于目标来说是形状不变的,可以从目标网格中提取仅限于姿势的信息而不传递形状信息。我们进一步设计了一个循环重建来执行自监督姿势转换,而不需要具有与目标和源相同姿势和形状的地面实况变形网格。我们在基准人类和动物数据集上评估了我们的方法,在那里与最先进的无监督方法相比达到了卓越的性能,甚至与完全监督的方法相比具有可比性的性能。我们在更具挑战性的 Mixamo 数据集上进行测试,以验证我们的方法处理具有不同拓扑结构和复杂服装能力。跨数据集评估进一步展示了我们方法的强大泛化能力。
Jul, 2023
本文提出 VS3D,一个从点云中弱监督学习的 3D 目标检测框架,其中引入了无监督的 3D proposal 模块和跨模态知识蒸馏策略,在 KITTI 数据集上取得了优异的性能。
Jul, 2020