MultiPly: 野外单目视频中多人重建

Jun, 2024

MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild

Zeren Jiang, Chen Guo, Manuel Kaufmann, Tianjian Jiang, Julien Valentin...

TL;DR通过我的研究，我们提出了一种名为 MultiPly 的新型框架，能够从野外单目视频中重建多个人的 3D 模型。该框架利用分层神经表示来还原整个场景，其中包括个体人物和背景模型，并通过层次不可分离的体积渲染学习这一分层神经表示。我们的混合实例分割方法结合了自我监督的 3D 分割和可提示的 2D 分割模块，可以在近距离人体交互的情况下得到可靠的实例分割辅助训练。我们引入了一种基于置信度的优化公式，交替优化人体姿势和形状 / 外貌。通过利用光度信息改善人体姿势，并对人体动态施加物理可行性约束，我们达到了具有高度保真度的时间一致的 3D 重建结果。我们的方法在公开数据集和野外视频上展现了超越先前研究成果的优越性能。

Abstract

We present multiply, a novel framework to reconstruct multiple people in 3D from monocular in-the-wild videos. Reconstructing multiple individuals moving and interacting naturally from →

multiply 3d reconstruction monocular in-the-wild videos layered neural representation instance segmentation

发现论文，激发创造

单张图片中的多人隐式重建

本研究提出了一种新的端到端学习框架，可以从一张图像中获取多人的详细且具有空间连续性的重建，并能解决多人姿态、遮挡、衣着等问题带来的困难，实现了对穿衣人体在任意姿势下的模型自由_implcicit 3D 重建和同步估计。针对模型和数据集，实验结果表明，该方法与现有的竞争方法相比，具有更高的精度和完整性，呈现了最先进的性能。

Apr, 2021

基于视频的三维人体模型重建

该论文介绍了如何从单目视频中获取任意人物的准确三维身体模型和纹理，该方法仅需使用智能手机或网络摄像头，使每个人都能创建自己的全可动数字双胞胎，如社交 VR 应用或在线时尚购物的虚拟试穿。

Mar, 2018

野外多视角图像下的弱监督 3D 人体姿态学习

本文提出一种基于弱监督方式，利用多视角数据进行 3D 人体姿势估计的学习框架，包括利用 2.5D 表示法的目标函数，经过测试在两个大规模数据集上达到了半监督 / 弱监督方法的最佳表现。

Mar, 2020

从单张图片中重建互动多人穿着的 3D 模型

本文介绍了一种重建单张图像中多人穿着服装的相互作用几何结构的新型流程。通过利用两个人体先验来解决遮挡带来的挑战，使用几何先验和表面接触先验，在场景空间中全局细化人体姿态，实现无穿透的准确重建。与现有方法相比，结果表明我们的方法具有完备性、全局一致性和物理可行性。

Jan, 2024

从视频中学习人脸模型

利用多帧视频自我监督训练深度网络，学习面部身份模型并同时重建 3D 面部，采用新的多帧一致性损失函数使得 consistent shape 和 appearance 尽量减小深度不确定性，从而实现单目和多帧重建。

Dec, 2018

Crowd3D：从单张图像中重建数百人

本文提出了 Crowd3D 框架，用于从单个广角场景图像中重建数百人的三维姿态、形状和位置，该方法基于新定义的 Human-scene Virtual Interaction Point（HVIP）的像素定位来解决复杂场景中的人群定位问题，并使用 adaptive human-centric cropping 方案进行处理，同时贡献了一组用于场景人群重建的基准数据集 LargeCrowd。

Jan, 2023

单目视频中全三维网格人体姿态的时间连续恢复

该研究论文提出了一种基于深度学习和递归神经网络的方法，采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势，并在定量和定性分析中证明了该方法的有效性。

Jun, 2019

从单目视觉中捕捉人类表演

本研究提供了首个非标记的方法来在单目视频中实现人类的三维运动捕捉，可以重建关节骨架的运动以及一般场景中中等尺度的非刚性表面形变。通过使用卷积神经网络中的疏 2D 和 3D 人体姿势检测，以及基于低维轨迹子空间解决单目重构问题的模式，我们解决了由大范围关节运动，具有潜在快速运动和相当大的非刚性变形构成的人工能捕捉挑战。此外，我们根据完全自动提取的轮廓线提出了基于表面几何的细化方法，以实现中等规模的非刚性匹配，我们的方法实现了最先进的性能捕捉结果，在准确性，鲁棒性和可处理的场景复杂性方面明显优于先前的单目方法。

Aug, 2017

多物理体：多人员物理感知的三维运动估计

MultiPhys 是一种从单目视频中恢复多人运动的方法，通过使用物理知识来准确捕捉不同程度的人与人之间的协调空间布局，并消除穿透问题和抖动干扰，从而得到既具有动力学一致性又具有物理合规性的最终运动估计结果。

Apr, 2024

从野外的单目视频实现稳健且平滑的三维多人姿势估计

3D 姿态估计是计算机视觉中一项非常重要的任务，特别是针对多人单目视频（3DMPPE）的 3D 姿态估计仍然具有挑战性，我们提出了 POTR-3D，这是第一个基于序列到序列的 2D 到 3D 模型实现的 3DMPPE，采用一种新颖的几何感知数据增强策略，能够生成具有各种视角的无界数据，并关注地面和遮挡效果，通过大量实验证明，我们的方法在不同的未知视角上具有鲁棒性，在重度遮挡下能够可靠地恢复姿态，并生成更自然和平滑的输出，我们的方法在公开基准上取得了最先进的性能，并在具有挑战性的野外视频上取得了定性结果。

Sep, 2023