Dec, 2023

HumanReg: 人体点云的自监督非刚性配准

HTML
PDF
TL;DR该研究提出了一种新的注册框架HumanReg，通过学习两个人体点云之间的非刚性变换，引入了身体先验来有效处理这种类型的点云。与大多数现有的需要昂贵的点对点流注释的监督注册技术不同，HumanReg可以以自我监督的方式进行训练，借助一组新的损失函数。为了使我们的模型更好地收敛于实际数据，我们还提出了预训练策略以及一个由动态、稀疏人体点云及其自动生成的地面真值注释组成的合成数据集（HumanSyn4D）。我们的实验表明，HumanReg在CAPE-512数据集上实现了最先进的性能，在另一个更具挑战性的真实世界数据集上实现了定性结果。此外，我们的消融研究证明了合成数据集和新的损失函数的有效性。我们的代码和合成数据集可在此https网址找到。
发现论文，激发创造
  • 人体形状和姿势的端到端恢复

    本文提出了一种名为HMR的端到端框架，可从单个RGB图像恢复人体的完整3D网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017

  • LBS 自编码器：自监督拟合关节网格至点云

    本研究使用自监督自编码算法通过利用LBS变形空间参数化骨骼分层结构来实现点云序列的自动化配准，并使用Part-分割的结构化Chamfer距离来解决点对点对应关系错误对模型配准的影响，实验结果表明，该方法在体注册等方面的绩效不输于监督学习方法。

    Apr, 2019

  • 人机交互的小样本点云区域标注

    提出了一种点云注释框架，利用人与机器协作的方式，实现了对大型点云数据集的逐点注释，减少了人类干预数量，展示了该框架在大型数据集注释方面的适用性。

    Jun, 2019

  • LoopReg：三维人体网格对齐的自监督隐式表面对应、姿态和形状学习

    我们提出了 LoopReg，一种端到端的学习框架，用于将一组扫描数据对齐到一个共同的 3D 人体模型上。通过自学习的方式，我们成功地训练出了一个能够处理未标记原始扫描数据的模型。

    Oct, 2020

  • 针对3D人体网格配准的局部感知分段变换场

    本研究提出了一种新型的基于PTF和多类占据网络的学习框架，以更准确地进行穿着的人类模型参数化配准和表面重建。

    Apr, 2021

  • 通过学习的函数映射同步进行多路非刚性点云配准

    利用 SyNoRiM，我们提供一种新的方法，通过同步点云上定义的学习功能的映射以联合注册多个非刚性形状，以既处理非刚性形状，又处理多体情况为特点，避免了点对点排列的昂贵优化。

    Nov, 2021

  • 具有跨表示对齐的自监督人体网格恢复

    本文介绍了一种针对现有限制的新型人体网格恢复方法，旨在优化存在的域间差距和数据不对称问题，并通过对多个标准数据集的实验验证，取得了与现有模型相媲美的成果，从而进一步降低了人体网格估计所需的注释工作量。

    Sep, 2022

  • 野外无需人类标注的点云三维人体关键点估计

    提出了一种无监督学习的方法GC-KPL来学习3D人体关键点定位，并且在未标注的数据集上取得了相对合理的性能，同时GC-KPL在少样本学习以及利用大量未标注数据方面得到了有效应用。

    Jun, 2023

  • 零样本点云配准

    本研究提出了一种零样本点云配准方法ZeroReg，通过将图像特征从关键点传递到点云中，利用3D几何邻域信息构建时引入的图像特征来解决传统方法中需要在特定数据集上进行训练的问题，因此，ZeroReg可在点云配准任务中实现出色的性能。

    Dec, 2023

  • 基于神经网络场的几何意识在3D人体配准中的应用

    论文提出了两种解决方案：一种是通过预测目标表面上局部SMPL顶点的方向来预测模板与3D人体点云的对齐问题的新型神经场模型LoVD；另一种是在测试时利用目标几何信息对骨干进行改进的首个自监督任务INT。将它们结合成INLoVD，这是一个在大规模MoCap数据集上训练的稳健的3D人体注册流水线，高效（不到一分钟）、在公共基准测试中稳定达到最先进水平，并在分布外数据上提供了前所未有的泛化能力。

    Dec, 2023