基于形状引导扩散的单图像三维人体数字化
使用单个参考图像生成 3D 人体模型是具有挑战性的，本文提出了一种从单视角输入生成 3D 人体模型的框架 HumanRef，通过引入参考引导评分蒸馏采样（Ref-SDS）方法有效地将图像指导纳入生成过程，实现了生成具有精细几何结构、逼真纹理和视角一致性的 3D 服装人物。
Nov, 2023
本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中，增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下，生成流水线模型在单图像的新视角合成任务上的性能改进，更重要的是，这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知，我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型；广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。
Jan, 2024
通过构建新的模型，通过将 2D 扩散模型和 3D 重建模型进行紧密耦合，我们可以从单个 RGB 图像中创建逼真的头像，并实现几何和外观上的高保真度。
Jun, 2024
DiffHuman 是一种基于概率的方法，通过一个单一的 RGB 图像实现逼真的三维人体重建。与确定性方法不同，DiffHuman 根据二维图像预测三维重建的概率分布，可以生成与图像一致的多个详细的三维人体模型。此外，DiffHuman 还引入了一个生成器神经网络，可以以大幅减少的运行时间进行渲染，从而实现了一种新颖的双分支扩散框架。在实验中，DiffHuman 在重建可见表面方面与现有技术不相上下，并且可以对输入图像中未见或不确定的部分生成多样且详细的重建结果。
Mar, 2024
本研究提出了一种基于轮廓的人体服装建模和纹理预测系统，使用深度生成模型重建穿着服装人体的完整 3D 模型，其中使用 2D 轮廓和 3D 关节来描述人体的形状复杂性和变化，再通过条件生成对抗网络预测背景面纹理，实验证明该模型是一种有效的表示方法。
Dec, 2018
提出了一种新的流程 SiTH，该流程将基于图像的扩散模型与 3D 网格重建相结合，通过将单视图重建问题分解为幻觉和重建子问题来推断未知的人体形状、服装和纹理信息。该方法通过强大的生成扩散模型重新生成输入图像中的外貌，并借助有皮肤的身体网格作为指导从输入图像和背视图图像中恢复出完整的人体纹理网格。在仅使用约 500 个 3D 人体扫描进行训练的同时，保持了方法的普遍性和鲁棒性。在两个 3D 重建基准测试上进行了大量实验和用户研究，证明了该方法在从各种未见图像中生成逼真、带纹理的 3D 人体方面的有效性。
Nov, 2023
该研究提出了一种新的方法，使用单个图像进行 3D 重建，生成了一个完整的 360 度 3D 纹理网格，改进于现有方法，具有更好的几何形状和一致性。
Jun, 2023
不加强实境应用中的动画人型化身是不可能的。我们提出了一种基于 HINT 的算法，能够从有限的视角学习到详细和完整的人体模型，通过引入对称先验、正则化约束和大型人体数据集提供的训练线索来解决传统方法中受限于视角可用性的问题，从而使我们的方法能够重构完整的人体，即使只有少数视角，与先前最先进算法相比，性能提高了 15% 以上的峰值信噪比。
May, 2024