AAAIDec, 2022

具备自监督的渐进式多视角人体网格恢复

PDF
TL;DR通过使用中间的二维表示，可学习的校准和三角测量来适应更多样化的相机设置，逐步聚合多视图信息在规范化三维空间中消除二维表示中的歧义，通过广泛的基准测试，特别是针对野外场景的未见过的情况下，我们展示了所提出的解决方案的优越性。
multi-view human mesh estimationsynthetic-data-drivenlearnable calibrationtriangulationbenchmarking
发现论文，激发创造
  • 利用多视角图像进行形状感知人体姿态和形状重建

    使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

    Aug, 2019

  • 多视角人体网格翻译器

    本文提出一种新的多视角人体网格翻译器（MMT）模型，通过利用多视角图像和视觉转换器来解决单视角方法的病态问题，同时在编码和解码阶段融合不同视角的特征，并通过交叉视图对齐来确保令牌集中于人类姿势和形状。实验表明，MMT 模型在人体网格恢复任务上表现出很大优势，特别是在具有挑战性的 HUMBI 数据集上的 MPVE 方面，优于现有的单视角或多视角模型，提高 28.8％。

    Oct, 2022

  • 具有跨表示对齐的自监督人体网格恢复

    本文介绍了一种针对现有限制的新型人体网格恢复方法，旨在优化存在的域间差距和数据不对称问题，并通过对多个标准数据集的实验验证，取得了与现有模型相媲美的成果，从而进一步降低了人体网格估计所需的注释工作量。

    Sep, 2022

  • 从多视角图像学习单目三维人体姿态估计

    本文提出了一种通过多视角的训练，使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法，并提出了一种联合估计相机姿态及人体姿态的方法，在 3D 人体姿态估计方面取得了良好的表现。

    Mar, 2018

  • 从单目图像中恢复 3D 人体网格：一项调查

    本篇文章调查了单目三维人体网格恢复的相关任务，包括身体模型，恢复框架 / 训练目标，数据集评估指标和评测结果，并从优势和劣势方面深入分析了两种范式：优化和回归。作者希望激励研究人员的兴趣，促进该领域的研究。

    Mar, 2022

  • 双视图胜过单视图：多视一致性下的单目三维姿态估计

    通过使用多视角数据对单目人体姿态估计模型进行微调，引入新的一致性损失函数，提升性能，从而实现对特定应用定制模型的实用和经济有效解决方案。

    Nov, 2023

  • 3D 人体姿势估计的多视图一致半监督学习

    该论文提出了一种基于多视角视频的多视角一致半监督学习框架，利用未经注释、未校准但同步的多视角视频中的姿态信息相似性作为额外的弱监督信号来引导 3D 人体姿势回归，该方法通过硬负采样来建立多视角一致的姿态嵌入，并结合有限的 3D 姿态注释来完善该模型，从而在两种公开数据集上实现了视角不变的姿态检索。

    Aug, 2019

  • Portrait4D-v2：伪多视角数据创造更好的 4D 头部合成器

    通过使用伪多视图视频，我们提出了一种新颖的学习方法，用于前馈一次性 4D 头像合成，并利用运动感知交叉注意力的简单视觉转换器骨干，我们的方法在重建保真度、几何一致性和运动控制精度方面具有优于先前方法的性能。

    Mar, 2024

  • 从单幅图像中综合估计三维人体和场景网格

    本文提出了一种端到端可训练模型，以单个 RGB 图像感知 3D 场景，估计相机姿态和室内布局，并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失，我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人体预测，并对场景和人体姿态进行联合优化的模型。

    Dec, 2020

  • 外观一致性驱动的自监督人体 Mesh 恢复

    该论文提出了一种无需成对指导下从单眼图像中推断人体姿态和形状的自我监督的人类网格恢复框架，具有较强的鲁棒性和良好的通用性。

    Aug, 2020