CVPRMar, 2024

基于评分引导的扩散方法用于三维人体恢复

PDF
TL;DR我们提出了一种基于得分指导的人体网格恢复（ScoreHMR）方法，用于解决三维人体姿势和形状重建的反问题。
发现论文，激发创造
  • 基于扩散模型的概率人体网格恢复的生成方法

    通过使用基于扩散的人体网格恢复（Diff-HMR）的生成方法框架，本文提出了一种解决从给定 2D 图像重建 3D 人体网格的问题的方法，来解决任务的固有模糊度。验证实验表明，该框架能够以概率的方式有效模拟任务的固有模糊度。

    Aug, 2023

  • 分布对齐扩散的人体网格恢复

    通过扩散过程恢复人体网格，以解决深度模糊和自遮挡问题，并提出注入特定输入分布信息的分布对齐技术（DAT），通过简化网格恢复任务提供有用的先验知识。

    Aug, 2023

  • 人体形状和姿势的端到端恢复

    本文提出了一种名为 HMR 的端到端框架，可从单个 RGB 图像恢复人体的完整 3D 网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017

  • PC-HMR：从 2D 图像 / 视频中恢复 3D 人体网格的姿态校准

    本文提出了两种新颖的姿态校准框架，采用先进的 3D 姿态估计器和 HMR 序列或并行方式有效地校准人体网格，通过非刚性姿态变换，可以灵活地处理骨长变化以缓解校准后的网格中的误放置，并通过数据驱动学习和几何建模的通用和互补集成来实现，可用于各种图像 / 视频人体网格的恢复，其在多项基准测试中取得了最新的表现。

    Mar, 2021

  • 分布和深度感知变换器用于三维人体网格恢复

    通过采用转换器的端到端架构，利用分布和场景深度信息，实现了精确人体网格还原技术，并在处理无监督数据的某些场景下表现出优越性能，同时在受控数据集上与最先进的 HMR 方法保持竞争力。

    Mar, 2024

  • HHMR: 通过增强图扩散模型的多模态可控性实现全面手部网格恢复

    综合手部网格恢复（Holistic Hand Mesh Recovery，HHMR）是一种能够实现直接手部网格生成、修复、重建和拟合的综合性手部网格恢复方法，通过单一的生成模型实现不同任务只需要提供不同的条件信号，该方法基于图卷积和注意机制实现全息手部网格恢复，并提出了一种条件对齐梯度引导方法，提高了手部网格重建和拟合的准确率。实验表明，该方法在多个手部网格恢复任务上的性能优于现有方法，为下游应用如姿势识别、网格编辑等提供了更多可能性。

    Jun, 2024

  • 使用姿态和形状的一致性从未见过的视角恢复隐式的三维人体网格

    通过神经特征场可以隐含模拟出人类在 3D 空间中的姿态和形状，从而提出了隐式三维人体网格恢复 (ImpHMR) 方法，并通过 Consistency and Self-supervised 的学习方式实现了姿态和形状参数的预测。

    Jun, 2023

  • 基于分数的扩散模型用于加速 MRI

    该研究提出了一种使用分数梯度模型重构图像的方法，并使用连续时间依赖分数函数进行训练。该模型可用于解决成像的反问题，尤其是加速 MRI，具有强大的性能及实用性，并且可重构复杂值数据。

    Oct, 2021

  • 多人全身人体网格恢复单次拍摄

    提出了 Multi-HMR，这是一个强大的单次拍摄模型，可以从单个 RGB 图像中恢复多人的 3D 人体网格。

    Feb, 2024

  • DDT：一种基于扩散驱动的基于 Transformer 框架的视频人类网格恢复方法

    本文提出了一种基于扩散驱动变换器的视频人体网格复原框架 (DDT)，能有效地提高运动平滑性和时间连续性，并且具有较高的效率和因果性，能够广泛应用于各种实际场景。

    Mar, 2023