Dec, 2023

SIFU：用于现实世界可用的侧视条件隐式函数的服装人体重建

PDF
TL;DRSIFU (Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction) combines a Side-view Decoupling Transformer with a 3D Consistent Texture Refinement pipeline to accurately reconstruct 3D models of clothed humans, improve texture prediction, and surpass state-of-the-art methods.
发现论文，激发创造
  • PIFu: 面向高分辨率衣着人体数字化的像素对齐隐式函数

    提出了一种名为 PIFu 的像素对齐隐式函数表示法，可以从单张图像中推断出高细节服装人物的 3D 表面和纹理，其精度高、内存占用小、能够处理任意拓扑，并且与输入图像的空间完全对齐。在 DeepFashion 数据集上进行实验，结果显示 PIFu 方法在单幅图像上表现出色，优于之前任何的数字化人像单张图像重建方法。

    May, 2019

  • StereoPIFu：基于双目视觉的深度感知衣着人体数字化

    本文提出了 StereoPIFu 算法，它将立体视觉的几何约束与 PIFu 的隐式函数表示相结合，从一对低成本的矫正图像中恢复着装人体的 3D 形状，实验表明与先前的研究结果相比，StereoPIFu 显著提高了着装人体重建的稳健性、完整性和准确性。

    Apr, 2021

  • ReFu: 通过细节保留的单张照片三维人体建模，对未观察的视角进行优化和融合

    使用 ReFu 方法，结合 2D 和 3D 监督，利用减少扩散占用概率的体积渲染，生成具有细节保留的背面图像，并将经过修整的图像与前端的反向变形融合以预测出人体模型，最终在单张图像 3D 人体重建中取得了最新成就。

    Nov, 2022

  • Geo-PIFu：用于单视角人体重建的几何与像素对齐的隐式函数

    Geo-PIFu 是一种基于深度多层次 U-Net 结构的隐式函数的方法，通过学习隐含体素特征来从穿着衣物的人的单眼彩色图像中恢复三维网格，并通过约束模型在两个方面以提高重建效果：第一，在查询点编码中解决特征歧义；第二，在粗糙的人体形状代理中规范化高分辨率网格并鼓励全局形状规则性，实验结果表明，与竞争方法相比，Geo-PIFu 可以得到更少的形状畸变和更好的表面细节。

    Jun, 2020

  • TIFu：高保真 3D 角色重建的三向隐式函数

    Tri-directional Implicit Function (TIFu) 是一种矢量级表示方法，通过沿三个正交轴聚合矢量解决了回归固定维度矢量的固有问题，从而在任意分辨率的三维重建中取得了最先进的性能。

    Jan, 2024

  • 单张图像中穿着衣物的人的 360 度纹理

    本文使用图像到图像翻译方法在 SMPL 模型的 UV 空间中推断纹理和几何学，以此预测人物的完整三维化身。通过此方法，我们得到的预测纹理和几何学可以应用到 SMPL 模型上，从而自然地对新的姿势、形状和衣物进行推广。

    Aug, 2019

  • IntegratedPIFu：单视角人体重建的整合像素对齐隐式函数

    本文介绍了一种新型的像素对齐的隐式模型 IntegratedPIFu，能够预测并将深度和人体解析信息结合，同时实现了以深度为导向的采样训练，提高了人体特征的重构准确性和网格结构的正确性。与目前的单视图人体重构方法相比，IntegratedPIFu 明显具有更高的性能表现。

    Nov, 2022

  • DRIFu：可微分渲染和基于隐式函数的单视图三维重建

    针对动物数字化的挑战，我们介绍了 DRIFu 模型，通过训练一组合成的 3D 动物模型和创新的对齐工具，实现动物形状和纹理的准确预测，并建立共享的形状空间，使得采样、姿势设定、动画和与现实数据对齐成为可能。这一突破性的方法彻底改变了我们全面理解和表征鸟类形态的能力。

    Nov, 2023

  • SeSDF：自我演化的带符号距离场用于隐式三维服装人体重建

    本文提出一种基于 SMPL-X 模型的可灵活处理单张图片或非标定多视角图片的参数化框架，通过新颖的自进化符号距离场模块来学习并重建服装人体，并引入了自校准和遮挡感知的特征融合策略来提高重建效果。与现有算法相比，该方法在公共基准测试上表现很好。

    Apr, 2023

  • UNIF：联合神经隐式函数进行有衣物人体建模与动画

    该研究提出一种适用于带衣物人体建模与动画的联合隐式函数 (part-based method)，包括骨架初始化和稳定分区方式以及非刚性变形算法，采用相对位置权重来定义混合权值以防止神经隐式函数中的反向 LBS 常规化问题。相关实验表明，该方法对 CAPE 和 ClothSeq 数据集的还原和动画具有显著的效果。

    Jul, 2022