CVPRJun, 2024

HHMR: 通过增强图扩散模型的多模态可控性实现全面手部网格恢复

PDF
TL;DR综合手部网格恢复（Holistic Hand Mesh Recovery，HHMR）是一种能够实现直接手部网格生成、修复、重建和拟合的综合性手部网格恢复方法，通过单一的生成模型实现不同任务只需要提供不同的条件信号，该方法基于图卷积和注意机制实现全息手部网格恢复，并提出了一种条件对齐梯度引导方法，提高了手部网格重建和拟合的准确率。实验表明，该方法在多个手部网格恢复任务上的性能优于现有方法，为下游应用如姿势识别、网格编辑等提供了更多可能性。
holistic hand mesh recoverygenerative modelshand mesh recovery tasksmultimodal controllabilitycondition-aligned gradient guidance
发现论文，激发创造
  • 从单目 RGB 图像恢复端到端的手部网格

    本文提出了 HAnd Mesh Recovery (HAMR) 框架，通过参数化通用 3D 手模型的形状和相对 3D 关节角度，提供了更多表达和更有用的网格表示，该框架可从单个 RGB 图像重建人手的完整 3D 网格，并具有较好的表现。

    Feb, 2019

  • 基于扩散模型的概率人体网格恢复的生成方法

    通过使用基于扩散的人体网格恢复（Diff-HMR）的生成方法框架，本文提出了一种解决从给定 2D 图像重建 3D 人体网格的问题的方法，来解决任务的固有模糊度。验证实验表明，该框架能够以概率的方式有效模拟任务的固有模糊度。

    Aug, 2023

  • 人体形状和姿势的端到端恢复

    本文提出了一种名为 HMR 的端到端框架，可从单个 RGB 图像恢复人体的完整 3D 网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017

  • 基于评分引导的扩散方法用于三维人体恢复

    我们提出了一种基于得分指导的人体网格恢复（ScoreHMR）方法，用于解决三维人体姿势和形状重建的反问题。

    Mar, 2024

  • 单目 RGB 相机空间下的三维手部网格恢复

    利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

    May, 2024

  • DiffHand: 基于扩散模型的端到端手部网格重建

    利用一种基于扩散的手部三维网格重建框架 ——DiffHand，利用噪声模拟中间手网格的不确定性分布进行渐进式去噪过程，设计跨模态解码器来更好地模拟手顶点的连通性，从而达到优于先前方法 5.8mm PA-MPJPE 的最优表现。

    May, 2023

  • 多人全身人体网格恢复单次拍摄

    提出了 Multi-HMR，这是一个强大的单次拍摄模型，可以从单个 RGB 图像中恢复多人的 3D 人体网格。

    Feb, 2024

  • MEGA：人体网格恢复的掩码生成自编码器

    基于掩码生成建模的新方法 MEGA，可以从图像和部分人体网格序列中恢复人体网格，通过灵活的生成方案可以在确定模式下预测单个人体网格或在随机模式下生成多个人体网格，实验结果表明 MEGA 在确定和随机模式下均取得了最先进的性能，优于单输出和多输出方法。

    May, 2024

  • 分布和深度感知变换器用于三维人体网格恢复

    通过采用转换器的端到端架构，利用分布和场景深度信息，实现了精确人体网格还原技术，并在处理无监督数据的某些场景下表现出优越性能，同时在受控数据集上与最先进的 HMR 方法保持竞争力。

    Mar, 2024

  • 在一张图像中使用对比学习和相机一致性进行多人体网格恢复

    本研究通过引入多裁剪方法，结合对裁剪间关系的分析以提取判别特征、减少相机不确定性，并利用对相同人体多裁剪的对比学习、特征融合和局部相机一致性等策略，改进了以往的单图像人体网格恢复方法。

    Feb, 2024