Nov, 2023

DRIFu：可微分渲染和基于隐式函数的单视图三维重建

PDF
TL;DR针对动物数字化的挑战，我们介绍了 DRIFu 模型，通过训练一组合成的 3D 动物模型和创新的对齐工具，实现动物形状和纹理的准确预测，并建立共享的形状空间，使得采样、姿势设定、动画和与现实数据对齐成为可能。这一突破性的方法彻底改变了我们全面理解和表征鸟类形态的能力。
differentiable renderingimplicit function-based modeldrifuanimal digitizationtemplate alignment
发现论文，激发创造
  • PIFu: 面向高分辨率衣着人体数字化的像素对齐隐式函数

    提出了一种名为 PIFu 的像素对齐隐式函数表示法，可以从单张图像中推断出高细节服装人物的 3D 表面和纹理，其精度高、内存占用小、能够处理任意拓扑，并且与输入图像的空间完全对齐。在 DeepFashion 数据集上进行实验，结果显示 PIFu 方法在单幅图像上表现出色，优于之前任何的数字化人像单张图像重建方法。

    May, 2019

  • IntegratedPIFu：单视角人体重建的整合像素对齐隐式函数

    本文介绍了一种新型的像素对齐的隐式模型 IntegratedPIFu，能够预测并将深度和人体解析信息结合，同时实现了以深度为导向的采样训练，提高了人体特征的重构准确性和网格结构的正确性。与目前的单视图人体重构方法相比，IntegratedPIFu 明显具有更高的性能表现。

    Nov, 2022

  • TIFu：高保真 3D 角色重建的三向隐式函数

    Tri-directional Implicit Function (TIFu) 是一种矢量级表示方法，通过沿三个正交轴聚合矢量解决了回归固定维度矢量的固有问题，从而在任意分辨率的三维重建中取得了最先进的性能。

    Jan, 2024

  • Geo-PIFu：用于单视角人体重建的几何与像素对齐的隐式函数

    Geo-PIFu 是一种基于深度多层次 U-Net 结构的隐式函数的方法，通过学习隐含体素特征来从穿着衣物的人的单眼彩色图像中恢复三维网格，并通过约束模型在两个方面以提高重建效果：第一，在查询点编码中解决特征歧义；第二，在粗糙的人体形状代理中规范化高分辨率网格并鼓励全局形状规则性，实验结果表明，与竞争方法相比，Geo-PIFu 可以得到更少的形状畸变和更好的表面细节。

    Jun, 2020

  • StereoPIFu：基于双目视觉的深度感知衣着人体数字化

    本文提出了 StereoPIFu 算法，它将立体视觉的几何约束与 PIFu 的隐式函数表示相结合，从一对低成本的矫正图像中恢复着装人体的 3D 形状，实验表明与先前的研究结果相比，StereoPIFu 显著提高了着装人体重建的稳健性、完整性和准确性。

    Apr, 2021

  • SIFU：用于现实世界可用的侧视条件隐式函数的服装人体重建

    SIFU (Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction) combines a Side-view Decoupling Transformer with a 3D Consistent Texture Refinement pipeline to accurately reconstruct 3D models of clothed humans, improve texture prediction, and surpass state-of-the-art methods.

    Dec, 2023

  • D-IF: 面向不确定性感知的人体数字化通过隐式分布场

    大规模高度真实感的 3D 服装人重建基于深度隐函数，利用自适应的不确定性分布提高模型的内在真实感和 纹理细节。

    Aug, 2023

  • PIFuHD: 面向高分辨率三维人体数字化的多级像素对齐隐式函数

    该研究论文通过多层次结构体系，从高分辨率的图像中提取细节信息、同时观察到低分辨率图像的整体信息，借助深度神经网络尝试解决现有方法在人体三维建模方面存在的精度与准确预测之间的矛盾，实验结果在单幅图像三维建模领域中，显著超越了现有的最先进技术。

    Apr, 2020

  • ReFu: 通过细节保留的单张照片三维人体建模，对未观察的视角进行优化和融合

    使用 ReFu 方法，结合 2D 和 3D 监督，利用减少扩散占用概率的体积渲染，生成具有细节保留的背面图像，并将经过修整的图像与前端的反向变形融合以预测出人体模型，最终在单张图像 3D 人体重建中取得了最新成就。

    Nov, 2022

  • HiFA：高保真度文本到三维生成与高级扩散引导

    我们通过使用扩散先验来改进已有的文本生成 3D 模型的技术，提出了一种新的训练方法，并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。

    May, 2023