CVPRApr, 2021

单张图片中的多人隐式重建

PDF
TL;DR本研究提出了一种新的端到端学习框架，可以从一张图像中获取多人的详细且具有空间连续性的重建，并能解决多人姿态、遮挡、衣着等问题带来的困难，实现了对穿衣人体在任意姿势下的模型自由_implcicit 3D 重建和同步估计。针对模型和数据集，实验结果表明，该方法与现有的竞争方法相比，具有更高的精度和完整性，呈现了最先进的性能。
multi-person methods3d reconstructionend-to-end learningclothed peopleocclusions
发现论文，激发创造
  • 从单张图片中重建互动多人穿着的 3D 模型

    本文介绍了一种重建单张图像中多人穿着服装的相互作用几何结构的新型流程。通过利用两个人体先验来解决遮挡带来的挑战，使用几何先验和表面接触先验，在场景空间中全局细化人体姿态，实现无穿透的准确重建。与现有方法相比，结果表明我们的方法具有完备性、全局一致性和物理可行性。

    Jan, 2024

  • 从单个 RGB 相机学习重建穿着衣服的人

    本文提出了一种基于学习的模型，利用少量单目视频帧 (1-8 帧) 从移动的人中推断出其个性化的 3D 形状，可在不到 10 秒内达到 5mm 的重建精度。该模型学习预测一个统计体型模型的参数和实例化偏移量，同时加入衣服和头发的形状，具有快速和准确的预测，这得益于其对 T-pose 空间的预测和从上往下和从下往上两个视图预测的结合。该模型仅基于合成的 3D 数据进行学习，可将可变数量的帧作为输入，即使仅有一张图像，也能以 6mm 的精度重建形状。3 个不同数据集的结果表明了本方法的有效性和准确性。

    Mar, 2019

  • 从单张图像中连贯重建多人

    本研究针对单张图像中的多人 3D 姿态估计问题，采用自顶向下的方法，并利用 SMPL 参数化身体模型，提出了基于距离场碰撞损失和深度排序感知损失的网络训练框架，有效解决了结果不连贯的问题，并且在标准的 3D 姿态基准测试中表现出优异性能。

    Jun, 2020

  • Crowd3D：从单张图像中重建数百人

    本文提出了 Crowd3D 框架，用于从单个广角场景图像中重建数百人的三维姿态、形状和位置，该方法基于新定义的 Human-scene Virtual Interaction Point（HVIP）的像素定位来解决复杂场景中的人群定位问题，并使用 adaptive human-centric cropping 方案进行处理，同时贡献了一组用于场景人群重建的基准数据集 LargeCrowd。

    Jan, 2023

  • 从单张图像重建高保真度着装化身

    本文提出了一个高效的三维服装化身重建框架。该框架通过高精度的基于优化的方法和高效的基于学习的方法相结合，以从单个图像中实现高保真度的服装化身重建为目标。通过在规范空间中以基于学习的方式使用隐式模型来学习人的一般形状，并通过以优化方式在姿态空间中估计非刚性变形来细化表面细节，使用超级网络来生成良好的初始化，从而极大地加速了优化过程的收敛。在各种数据集上的大量实验表明，所提出的服装化身重建框架成功地为现实场景中的任意穿着的人类产生了高保真度的化身。

    Apr, 2023

  • 从单幅图像中综合估计三维人体和场景网格

    本文提出了一种端到端可训练模型，以单个 RGB 图像感知 3D 场景，估计相机姿态和室内布局，并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失，我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人体预测，并对场景和人体姿态进行联合优化的模型。

    Dec, 2020

  • MultiPly: 野外单目视频中多人重建

    通过我的研究，我们提出了一种名为 MultiPly 的新型框架，能够从野外单目视频中重建多个人的 3D 模型。该框架利用分层神经表示来还原整个场景，其中包括个体人物和背景模型，并通过层次不可分离的体积渲染学习这一分层神经表示。我们的混合实例分割方法结合了自我监督的 3D 分割和可提示的 2D 分割模块，可以在近距离人体交互的情况下得到可靠的实例分割辅助训练。我们引入了一种基于置信度的优化公式，交替优化人体姿势和形状 / 外貌。通过利用光度信息改善人体姿势，并对人体动态施加物理可行性约束，我们达到了具有高度保真度的时间一致的 3D 重建结果。我们的方法在公开数据集和野外视频上展现了超越先前研究成果的优越性能。

    Jun, 2024

  • CrowdRec: 单色图像的 3D 众人重建

    通过利用人群特征和提出群体约束优化方法，本研究旨在改善单个人物方法在人群图片上的表现，从而实现在大规模人群图像中获得准确的姿势和形状。

    Oct, 2023

  • 利用多视角图像进行形状感知人体姿态和形状重建

    使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

    Aug, 2019

  • SelfRecon: 从单眼视频中自动重建数码头像

    该研究提出了一种结合隐式和显式表达的身体重建方法 SelfRecon，可从单眼自旋人类视频中恢复空间 - 时间一致的几何形状，细节采用可微分神经渲染进行精细处理。

    Jan, 2022