多视角人体网格翻译器

Oct, 2022

Multi-view Human Body Mesh Translator

Xiangjian Jiang, Xuecheng Nie, Zitian Wang, Luoqi Liu, Si Liu

TL;DR本文提出一种新的多视角人体网格翻译器（MMT）模型，通过利用多视角图像和视觉转换器来解决单视角方法的病态问题，同时在编码和解码阶段融合不同视角的特征，并通过交叉视图对齐来确保令牌集中于人类姿势和形状。实验表明，MMT 模型在人体网格恢复任务上表现出很大优势，特别是在具有挑战性的 HUMBI 数据集上的 MPVE 方面，优于现有的单视角或多视角模型，提高 28.8％。

Abstract

Existing methods for human mesh recovery mainly focus on single-view frameworks, but they often fail to produce accurate results due to the ill-posed setup. Considering the maturity of the multi-view motion captu

multi-view human mesh recovery mmt model vision transformer cross-view alignment

发现论文，激发创造

具备自监督的渐进式多视角人体网格恢复

通过使用中间的二维表示，可学习的校准和三角测量来适应更多样化的相机设置，逐步聚合多视图信息在规范化三维空间中消除二维表示中的歧义，通过广泛的基准测试，特别是针对野外场景的未见过的情况下，我们展示了所提出的解决方案的优越性。

Dec, 2022

从任意多视角图像中恢复人体网格

从任意多视角图像中恢复人体网格涉及两个特点：任意的相机姿态和任意数量的相机视图。为了解决这个问题，我们提出了一个分治框架，用于从任意多视角图像中统一恢复人体网格。

Mar, 2024

直接多视角多人三维姿态估计

该研究提出了一种名为 MvP 的多视角姿态变换器，用于从多视角图像中估计多人的三维姿态，该方法可以直接回归多人三维姿态，并使用几种技术来提高准确性，该模型在多项指标上表现优秀。

Nov, 2021

多人全身人体网格恢复单次拍摄

提出了 Multi-HMR，这是一个强大的单次拍摄模型，可以从单个 RGB 图像中恢复多人的 3D 人体网格。

Feb, 2024

多人网格恢复与 Transformers

通过一种面向整体图像的方法，我们提出了一种新的模型设计，其中包括多尺度特征融合、关注机制和相对关节监督，该模型在涉及多个人的各种基准测试中显示出显著的性能提升，超过了最先进的基于区域和基于整体图像的方法。

Feb, 2024

利用多视角图像进行形状感知人体姿态和形状重建

使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

Aug, 2019

MHFormer：多假设变压器用于三维人体姿态估计

本文提出了一种名为 Multi-Hypothesis Transformer (MHFormer) 的模型，旨在通过学习多个合理的姿势假设的空时表示，解决单目视频中的 3D 人体姿态估计问题，并在两个具有挑战性的数据集上取得了最新的最优结果。

Nov, 2021

UMFuse: 面向人类编辑应用的统一多视图融合

本文介绍一种基于多视角融合技术的人物造型编辑方法，通过多视角输入的关键点和纹理信息生成像素级外观检索图，并应用于多视角人物造型和人物图像混合等任务，研究单视角编辑的限制与多视角的优势。

Nov, 2022

TransFusion：基于 Transformer 的跨视角三维人体姿态融合估计

该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善 2D 预测器的性能。同时，研究人员还提出了一个名为 Epipolar field 的概念，它可以将 3D 位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。

Oct, 2021

MUC：用于强健的 3D 人体重建的非校准相机混合

通过多重摄像头提供多视角视频覆盖人体，并使用三维人体重构方法，其中包括对多视角数据进行融合以及相机校准，可灵活支持任意数量的摄像头，并在两个公共数据集上表现出卓越性能，为相关应用带来重要潜力。

Mar, 2024