具有密集对应的 3D 人体网格回归
我们提出了一种名为 Dense Inpainting Human Mesh Recovery (DIMR) 的两阶段方法,利用密集的对应关系图处理遮挡问题,采用基于注意力机制的特征完成模块,通过特征修补训练过程指导网络从非遮挡特征中学习,实验证明我们的方法在重度遮挡场景下表现优异,并在标准基准(3DPW)上取得可比较的结果。
Jul, 2023
本文提出一种简单的方法,可以同时重建三维人脸结构并提供密集对齐。该方法使用称为 UV 位置映射的二维表示来记录完整面部的三维形状,并使用简单卷积神经网络从单个二维图像中回归它。该方法不依赖于任何先前的人脸模型,并且可以重建全面部几何信息。与之前的作品相比,网络非常轻便,并且只需 9.8 毫秒即可处理图像。多次挑战数据集的实验表明,该方法在重建和对齐任务上均优于其他最先进的方法。
Mar, 2018
本研究提出了一种深度学习方法,用于在人体的 3D 扫描之间寻找密集的对应关系,深度卷积神经网络用于训练特征描述符,通过区域分类问题解决多种问题,并验证我们的方法在真实数据和合成数据上都表现出了优异的稳定性和准确性。
Nov, 2015
本文介绍了 BodyMap,一种基于 Vision Transformers 的新框架,用于在野外图像与 3D 模板之间获取高清全身和连续密集的对应关系,并展示了其在多层密集布料通信,神经渲染和外观交换等方面的应用。
May, 2022
本文提出了一种从稠密对应的人体部位进行学习的方法,通过构建 2D 像素与 3D 顶点之间的桥梁,提出了解决非线性、位移等问题的 Decompose-and-Aggregate 网络(DaNet),并给出了一种利用空间关系的位置辅助旋转特征细化策略来提高鲁棒性的姿态预测策略,发现该方法显著提高了重建性能。
Dec, 2019
本文提出使用卷积神经网络和编码器 - 解码器神经网络从单张彩色图像中直接回归 3D 人体网格,利用高效的 3D 人体形状和姿势表示方法,在 Human3.6M、SURREAL 和 UP-3D 等多个 3D 人体数据集上实现了最新性能。
Mar, 2019
本文提出了一种基于 end-to-end learning 的学习框架,可用于从单个图像中详细地三维重建人脸,不需要传统方法计算的替代地面真值 3D 模型的监督,而是利用输入图像本身作为监督。
Oct, 2019
通过引入仿射卷积网络,本文提出了一种新的网络架构来解决三维人脸重建中输入图像和输出图像之间的空间不对应的问题,并生成 512×512 像素的高质量 UV 贴图。
Oct, 2023
通过联合学习网格畸变和二维 UV 空间高斯纹理,我们提出了 UV 高斯模型,用于重建逼真的可行驶人体化身,并通过独立的网格网络来优化姿势相关的几何畸变,从而指导高斯渲染并显著提高渲染质量。
Mar, 2024
本文介绍了一种针对现有限制的新型人体网格恢复方法,旨在优化存在的域间差距和数据不对称问题,并通过对多个标准数据集的实验验证,取得了与现有模型相媲美的成果,从而进一步降低了人体网格估计所需的注释工作量。
Sep, 2022