Jul, 2023

用于人体网格恢复的密集 UV 补全学习

PDF
TL;DR我们提出了一种名为 Dense Inpainting Human Mesh Recovery (DIMR) 的两阶段方法，利用密集的对应关系图处理遮挡问题，采用基于注意力机制的特征完成模块，通过特征修补训练过程指导网络从非遮挡特征中学习，实验证明我们的方法在重度遮挡场景下表现优异，并在标准基准（3DPW）上取得可比较的结果。
mesh reconstructionocclusiondense inpainting human mesh recoverydense correspondence mapsfeature completion
发现论文，激发创造
  • 具有密集对应的 3D 人体网格回归

    本研究提出了一种无模型的 3D 人体网格估计框架 DecoMR，通过显式建立网格和局部图像特征在 UV 空间中的密集对应关系来重建人体 3D 网格，并设计了一种新的连续 UV 映射，优于现有的基于 3D 网格的方法。

    Jun, 2020

  • UV-GAN: 针对位姿不变人脸识别的对抗性人脸 UV 图像补全

    该论文提出了一种使用深度卷积神经网络训练面部 UV 图完成模型的框架，从而实现更好的面孔识别表现。该方法通过附加完成的 UV 图到安装的网格并生成任意姿态的实例，增加了姿态变化以训练深度面部识别 / 验证模型，并在测试期间最小化姿态差异，证明了对于有完整 UV map 数据集的人脸库，其具有极高的人脸识别准确率。

    Dec, 2017

  • DPMesh: 利用扩散先验进行有遮挡人体网格恢复

    通过利用预训练的文本到图像扩散模型中嵌入的物体结构和空间关系的悠久经验规则，DPMesh 创新性地提出一种处理受遮挡人体网格的框架，通过无缝集成预训练的去噪 U-Net 模型，结合有效的 2D 观测条件注入，以及专用噪声关键点推理方法，实现了具有准确性和鲁棒性的三维人体网格恢复。

    Apr, 2024

  • 人体去遮挡：人的隐形感知与恢复

    使用两阶段框架和基于 mask 的网络方法，本文针对人体消失的问题进行研究，提出了一种新颖的注意力模块和收集了 Amodal Human Perception dataset（AHP）来验证我们方法的有效性和优越性。

    Mar, 2021

  • 具有跨表示对齐的自监督人体网格恢复

    本文介绍了一种针对现有限制的新型人体网格恢复方法，旨在优化存在的域间差距和数据不对称问题，并通过对多个标准数据集的实验验证，取得了与现有模型相媲美的成果，从而进一步降低了人体网格估计所需的注释工作量。

    Sep, 2022

  • 遮挡人体网格恢复

    本文提出了一种顶部下降的网格恢复方法（OCHMR），该方法利用图像空间上下文来克服单人假设的局限性，并通过 Contextual Normalization 块适应性地调节顶部下降模型的中间特征，这使得模型能够在多人遮挡的情况下区分出严重重叠的人边框，从而获得了优于其他方法的表现。

    Mar, 2022

  • 幕后之幕：通过遮挡面完善增强室内 3D 场景重建

    利用深度读数完成室内三维重建和填充被遮挡表面的新方法，通过学习现有完整场景的三维几何先验推断未知场景的遮挡几何，提出了粗细层级的八叉树表示方法以及包含地理解码器和三维修复器两个部分的双解码器架构，显著提升三维重建的完整性。

    Apr, 2024

  • 利用卷积网络实现密集的人体对应

    本研究提出了一种深度学习方法，用于在人体的 3D 扫描之间寻找密集的对应关系，深度卷积神经网络用于训练特征描述符，通过区域分类问题解决多种问题，并验证我们的方法在真实数据和合成数据上都表现出了优异的稳定性和准确性。

    Nov, 2015

  • BodyMap: 全身密集对应图学习

    本文介绍了 BodyMap，一种基于 Vision Transformers 的新框架，用于在野外图像与 3D 模板之间获取高清全身和连续密集的对应关系，并展示了其在多层密集布料通信，神经渲染和外观交换等方面的应用。

    May, 2022

  • 基于坐标的纹理修复技术用于姿态引导图像生成

    本文提出了一种基于深度学习的姿态引导的人类照片重新合成方法，它基于单张照片估计完整身体表面纹理，并使用一个新的修补方法将图像纹理转换为目标姿势视图。

    Nov, 2018