LoopReg：三维人体网格对齐的自监督隐式表面对应、姿态和形状学习

Oct, 2020

LoopReg：三维人体网格对齐的自监督隐式表面对应、姿态和形状学习

LoopReg: Self-supervised Learning of Implicit Surface Correspondences, Pose and Shape for 3D Human Mesh Registration

Bharat Lal Bhatnagar, Cristian Sminchisescu, Christian Theobalt, Gerard Pons-Moll

TL;DR我们提出了 LoopReg，一种端到端的学习框架，用于将一组扫描数据对齐到一个共同的 3D 人体模型上。通过自学习的方式，我们成功地训练出了一个能够处理未标记原始扫描数据的模型。

Abstract

We address the problem of fitting 3d human models to 3D scans of dressed humans. Classical methods optimize both the data-to-model correspondences and the human model parameters (pose and shape), but are reliable only when initialized close to the solution. Some methods initialize the

3d human models end-to-end learning framework correspondence predictor loopreg self-supervised loop

发现论文，激发创造

通过模型拟合学习重构 3D 人体姿势和形状

该研究提出了一种新的方法，将基于优化的方法和基于回归的方法结合起来，通过深度学习网络和迭代优化技巧来准确估计人体姿势。在实验中，该方法在数据稀缺和限制条件下改善了现有技术的精度和效率。

Sep, 2019

HumanReg: 人体点云的自监督非刚性配准

该研究提出了一种新的注册框架 HumanReg，通过学习两个人体点云之间的非刚性变换，引入了身体先验来有效处理这种类型的点云。与大多数现有的需要昂贵的点对点流注释的监督注册技术不同，HumanReg 可以以自我监督的方式进行训练，借助一组新的损失函数。为了使我们的模型更好地收敛于实际数据，我们还提出了预训练策略以及一个由动态、稀疏人体点云及其自动生成的地面真值注释组成的合成数据集（HumanSyn4D）。我们的实验表明，HumanReg 在 CAPE-512 数据集上实现了最先进的性能，在另一个更具挑战性的真实世界数据集上实现了定性结果。此外，我们的消融研究证明了合成数据集和新的损失函数的有效性。我们的代码和合成数据集可在此 https 网址找到。

Dec, 2023

密集形状对应的自监督学习

介绍了第一种完全无监督的对变形三维图形进行对应学习的方法，通过理解自然变形的形态变化近似保持曲面的度量结构，提出了一种驱动学习过程的自然准则，从而克服了对带注释数据的需求，并取而代之的是一种纯几何标准，学习模型不分含义类别，能够利用任何类型的可变形几何数据进行训练，相对于现有的专门针对训练期间观察到的类别的监督方法，我们展示出更强的泛化能力和应用于各种具有挑战性设置的能力，在广泛的对应基准测试中展示了我们的方法，在精度、泛化能力和效率方面均超过了其他方法。

Dec, 2018

可变形医学图像配准的无监督学习模型

本文提出了一种基于学习的算法，用于变形、两两匹配的三维医学图像注册，通过使用卷积神经网络（CNN）模型并利用一个空间变换层，从而实现快速计算新的扫描成像时的配准场，且无需监督信息。我们可以在不破坏匹配场平滑性的前提下，底层地在一张图像中重构另一张图像，并在实践中将其速度提高数个数量级以上，从而有望显著加速医学图像分析和处理管道的速度，同时促进学习医学图像配准及其应用的新方向。

Feb, 2018

外观一致性驱动的自监督人体 Mesh 恢复

该论文提出了一种无需成对指导下从单眼图像中推断人体姿态和形状的自我监督的人类网格恢复框架，具有较强的鲁棒性和良好的通用性。

Aug, 2020

基于神经网络场的几何意识在 3D 人体配准中的应用

论文提出了两种解决方案：一种是通过预测目标表面上局部 SMPL 顶点的方向来预测模板与 3D 人体点云的对齐问题的新型神经场模型 LoVD；另一种是在测试时利用目标几何信息对骨干进行改进的首个自监督任务 INT。将它们结合成 INLoVD，这是一个在大规模 MoCap 数据集上训练的稳健的 3D 人体注册流水线，高效（不到一分钟）、在公共基准测试中稳定达到最先进水平，并在分布外数据上提供了前所未有的泛化能力。

Dec, 2023

通过稠密对应实现可变形物体的隐式形状表示的自监督学习

使用自监督学习方法为可变形物体学习神经隐含形状表示法，无需特定语义领域的额外注释和大量变形约束，可用于纹理转移和形状编辑应用。

Aug, 2023

学习梯度下降拟合人体模型

本文提出了一种新算法，将迭代梯度下降和深度神经网络结合起来，实现 3D 人体形状与图像的拟合。该算法只需人体动作捕捉数据，不需要图像到 3D 对应关系，并且在公共数据集上达到了最先进的结果。

Aug, 2020

无监督表面配准的多视角循环对齐网络

本文提出一种基于刚性变换的非刚性配准算法，通过可微分的损失函数进行监督学习，并在多个数据集上的实验结果表明其优于现有最先进算法。

Nov, 2020

基于几何自监督的无监督三维姿态估计

通过采用无监督学习技术，基于来自单个图像的 2D 骨架关节，我们提出了一种恢复 3D 人体姿势的方法，该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入，并生成相应的 3D 骨架估计，其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据，并通过自适应正则化机制使域适应效果更好。最终，在 Human3.6M 数据集上，我们的方法对无监督三维 lifting 的改进达到了 30％，并且优于许多明确使用 3D 数据的弱监督方法。

Apr, 2019