DiffuStereo: 基于扩散的稀疏摄像机双目立体视觉的高质量人体重建

ECCVJul, 2022

DiffuStereo: 基于扩散的稀疏摄像机双目立体视觉的高质量人体重建

DiffuStereo: High Quality Human Reconstruction via Diffusion-based Stereo Using Sparse Cameras

Ruizhi Shao, Zerong Zheng, Hongwen Zhang, Jingxiang Sun, Yebin Liu

TL;DR提出了一种使用稀疏相机实现高质量 3D 人体重建的新系统 DiffuStereo，其核心是使用扩散模型将扩散模型引入到迭代立体匹配网络中，以实现立体匹配和深度估计。通过多级扩散模型立体网络结构处理高分辨率输入，该方法可以自动重建具有与高端重度视角摄像机组相当质量的人体模型。实验表明，该方法在定性和定量上均优于现有方法。

Abstract

We propose diffustereo, a novel system using only sparse cameras (8 in this work) for high-quality 3d human reconstruction. At its core is

diffustereo 3d human reconstruction sparse cameras stereo matching network depth estimation

发现论文，激发创造

DiffHuman：人体的概率光真实三维重建

DiffHuman 是一种基于概率的方法，通过一个单一的 RGB 图像实现逼真的三维人体重建。与确定性方法不同，DiffHuman 根据二维图像预测三维重建的概率分布，可以生成与图像一致的多个详细的三维人体模型。此外，DiffHuman 还引入了一个生成器神经网络，可以以大幅减少的运行时间进行渲染，从而实现了一种新颖的双分支扩散框架。在实验中，DiffHuman 在重建可见表面方面与现有技术不相上下，并且可以对输入图像中未见或不确定的部分生成多样且详细的重建结果。

Mar, 2024

DiffRoom: 基于扩散的高质量三维房间重建与生成

DiffRoom 提出了一种稀疏的 3D 扩散网络，它基于粗糙的占用先验和分层扩散学习结构，实现了高质量的 3D 室内重建和生成。

Jun, 2023

RGB-D 融合：基于图像条件的人型主体深度扩散

RGB-D-Fusion 模型使用条件去噪扩散概率模型从人类主体的低分辨率单眼 RGB 图像生成高分辨率深度图，并引入深度噪声增强技术以提升超分辨率模型的鲁棒性。

Jul, 2023

Sparse3D：基于稀疏视角的多视点一致性扩散物体重建

Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。

Aug, 2023

超人类：具有潜在结构扩散的超逼真人类生成

通过建立大规模人体数据集 HumanVerse，结合深度学习模型和结构引导生成器，我们提出了 HyperHuman 方法，实现了生成真实自然的人体图像。