Feb, 2024

在一张图像中使用对比学习和相机一致性进行多人体网格恢复

PDF
TL;DR本研究通过引入多裁剪方法，结合对裁剪间关系的分析以提取判别特征、减少相机不确定性，并利用对相同人体多裁剪的对比学习、特征融合和局部相机一致性等策略，改进了以往的单图像人体网格恢复方法。
single-image human mesh recoverymultiple-crop hmr paradigmcontrastive learning schemecrop-aware fusion schemecamera-consistency loss
发现论文，激发创造
  • 从任意多视角图像中恢复人体网格

    从任意多视角图像中恢复人体网格涉及两个特点：任意的相机姿态和任意数量的相机视图。为了解决这个问题，我们提出了一个分治框架，用于从任意多视角图像中统一恢复人体网格。

    Mar, 2024

  • 人体形状和姿势的端到端恢复

    本文提出了一种名为 HMR 的端到端框架，可从单个 RGB 图像恢复人体的完整 3D 网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017

  • 多人全身人体网格恢复单次拍摄

    提出了 Multi-HMR，这是一个强大的单次拍摄模型，可以从单个 RGB 图像中恢复多人的 3D 人体网格。

    Feb, 2024

  • 多人网格恢复与 Transformers

    通过一种面向整体图像的方法，我们提出了一种新的模型设计，其中包括多尺度特征融合、关注机制和相对关节监督，该模型在涉及多个人的各种基准测试中显示出显著的性能提升，超过了最先进的基于区域和基于整体图像的方法。

    Feb, 2024

  • 视频中的全球空间相机与人体重建的协同作用

    Synergistic Camera and Human Reconstruction (SynCHMR) combines visual SLAM and HMR to reconstruct camera trajectories, human meshes, and dense scene point clouds in metric scale and a common world frame.

    May, 2024

  • 具备自监督的渐进式多视角人体网格恢复

    通过使用中间的二维表示，可学习的校准和三角测量来适应更多样化的相机设置，逐步聚合多视图信息在规范化三维空间中消除二维表示中的歧义，通过广泛的基准测试，特别是针对野外场景的未见过的情况下，我们展示了所提出的解决方案的优越性。

    Dec, 2022

  • 使用姿态和形状的一致性从未见过的视角恢复隐式的三维人体网格

    通过神经特征场可以隐含模拟出人类在 3D 空间中的姿态和形状，从而提出了隐式三维人体网格恢复 (ImpHMR) 方法，并通过 Consistency and Self-supervised 的学习方式实现了姿态和形状参数的预测。

    Jun, 2023

  • PC-HMR：从 2D 图像 / 视频中恢复 3D 人体网格的姿态校准

    本文提出了两种新颖的姿态校准框架，采用先进的 3D 姿态估计器和 HMR 序列或并行方式有效地校准人体网格，通过非刚性姿态变换，可以灵活地处理骨长变化以缓解校准后的网格中的误放置，并通过数据驱动学习和几何建模的通用和互补集成来实现，可用于各种图像 / 视频人体网格的恢复，其在多项基准测试中取得了最新的表现。

    Mar, 2021

  • MEGA：人体网格恢复的掩码生成自编码器

    基于掩码生成建模的新方法 MEGA，可以从图像和部分人体网格序列中恢复人体网格，通过灵活的生成方案可以在确定模式下预测单个人体网格或在随机模式下生成多个人体网格，实验结果表明 MEGA 在确定和随机模式下均取得了最先进的性能，优于单输出和多输出方法。

    May, 2024

  • W-HMR: 弱监督相机标定和方位校正下的人体网格恢复

    通过解耦全局身体恢复为相机校准、局部身体恢复和全局身体方向校正，我们的模型能够同时考虑相机坐标的准确性和世界坐标的合理性，在双坐标系中实现高质量的重建，尤其是在具有挑战性的场景中。

    Nov, 2023