CVPRApr, 2022

JIFF: 高质量单视角衣着人体重建的联合对齐隐式人脸函数

PDF
TL;DR本文提出了一种新颖的联合对齐隐式人脸函数 (JIFF) 方法，将隐式函数与模型方法相结合，通过在 3D 形变脸模型和像素对齐 2D 特征之间进行联合预测来提高面部重建的质量，并采用粗到精的架构来预测高质量纹理。经过广泛的公共数据集的评估表明，本文提出的 JIFF 方法在定量和定性方面均优于现有的最新技术。
single view 3d human reconstructionimplicit function based methodsjointly-aligned implicit face function3d morphable face modelcoarse-to-fine architecture
发现论文，激发创造
  • Geo-PIFu：用于单视角人体重建的几何与像素对齐的隐式函数

    Geo-PIFu 是一种基于深度多层次 U-Net 结构的隐式函数的方法，通过学习隐含体素特征来从穿着衣物的人的单眼彩色图像中恢复三维网格，并通过约束模型在两个方面以提高重建效果：第一，在查询点编码中解决特征歧义；第二，在粗糙的人体形状代理中规范化高分辨率网格并鼓励全局形状规则性，实验结果表明，与竞争方法相比，Geo-PIFu 可以得到更少的形状畸变和更好的表面细节。

    Jun, 2020

  • TIFu：高保真 3D 角色重建的三向隐式函数

    Tri-directional Implicit Function (TIFu) 是一种矢量级表示方法，通过沿三个正交轴聚合矢量解决了回归固定维度矢量的固有问题，从而在任意分辨率的三维重建中取得了最先进的性能。

    Jan, 2024

  • IntegratedPIFu：单视角人体重建的整合像素对齐隐式函数

    本文介绍了一种新型的像素对齐的隐式模型 IntegratedPIFu，能够预测并将深度和人体解析信息结合，同时实现了以深度为导向的采样训练，提高了人体特征的重构准确性和网格结构的正确性。与目前的单视图人体重构方法相比，IntegratedPIFu 明显具有更高的性能表现。

    Nov, 2022

  • PIFu: 面向高分辨率衣着人体数字化的像素对齐隐式函数

    提出了一种名为 PIFu 的像素对齐隐式函数表示法，可以从单张图像中推断出高细节服装人物的 3D 表面和纹理，其精度高、内存占用小、能够处理任意拓扑，并且与输入图像的空间完全对齐。在 DeepFashion 数据集上进行实验，结果显示 PIFu 方法在单幅图像上表现出色，优于之前任何的数字化人像单张图像重建方法。

    May, 2019

  • 通过学习隐式函数从多视角图像中恢复详细的面部几何形状

    本文提出了一种新型架构来在数十秒内恢复极其详细的 3D 人脸，通过在多视图图像中拟合一个 3D 可塑模型，提取并聚合多个图像的特征，学习一种用于回归匹配成本的隐式函数。与先前的学习方法相比，在 FaceScape 数据集上准确性更高。

    Jan, 2022

  • 引导深度超分辨率的联合隐式图像函数

    本文提出了一种将指导性先验信息引入深度超分辨率模型的方法，使用联合隐式函数 (JIIF) 来表示目标图像领域，并使用图注意力机制在联合深度隐式函数中学习插值权重，该方法在三个公共基准测试中显着优于现有方法。

    Jul, 2021

  • 人脸联合对齐及三维面部重建在人脸识别中的应用

    提出了一种新的联合人脸对齐和三维人脸重建方法，该方法可以自动生成姿态和表情归一化的三维人脸，并能恢复可见和不可见的二维人脸关键点，从而可以改善跨姿态和表情的人脸识别准确性。实验结果表明，该方法在人脸对齐和三维人脸重建方面均达到了最先进的精度。

    Aug, 2017

  • ReFu: 通过细节保留的单张照片三维人体建模，对未观察的视角进行优化和融合

    使用 ReFu 方法，结合 2D 和 3D 监督，利用减少扩散占用概率的体积渲染，生成具有细节保留的背面图像，并将经过修整的图像与前端的反向变形融合以预测出人体模型，最终在单张图像 3D 人体重建中取得了最新成就。

    Nov, 2022

  • ImFace++：一种具有隐式神经表示的复杂非线性三维可塑人脸模型

    本研究提出了一种名为 ImFace++ 的新型 3D 可塑性面部模型，通过使用隐式神经表示来学习一种精细连续空间，并通过构建两个明确定义的变形场和一个优化的神经融合场来模拟面部的复杂形状、个体身份和表情变化，进而在面部重建和对应精度方面显著提升了现有技术水平。

    Dec, 2023

  • PIFuHD: 面向高分辨率三维人体数字化的多级像素对齐隐式函数

    该研究论文通过多层次结构体系，从高分辨率的图像中提取细节信息、同时观察到低分辨率图像的整体信息，借助深度神经网络尝试解决现有方法在人体三维建模方面存在的精度与准确预测之间的矛盾，实验结果在单幅图像三维建模领域中，显著超越了现有的最先进技术。

    Apr, 2020