使用体积采样进行拓扑一致的多视角人脸推断

ICCVOct, 2021

使用体积采样进行拓扑一致的多视角人脸推断

Topologically Consistent Multi-View Face Inference Using Volumetric Sampling

Tianye Li, Shichen Liu, Timo Bolkart, Jiayi Liu, Hao Li...

TL;DR该论文提出了一种名为 ToFu 的几何推理框架，它使用一种体积表示法来生成面部网格，可以跨面部身份和表情产生具有拓扑一致性的网格。该方法通过考虑面部几何学特征，采用从粗到细的神经网络结构来实现稠密准确的面部网格预测，并在 pore-level 几何细节方面捕捉位移图，以生成高质量的渲染效果。

Abstract

High-fidelity face digitization solutions often combine multi-view stereo (MVS) techniques for 3d reconstruction and a non-rigid registration step to establish dense correspondence across identities and expressions. A common problem is the need for manual clean-up after the MVS step, a

3d reconstruction mesh registration geometry inference facial expressions volumetric representation

发现论文，激发创造

多视图重建中通过体渲染学习拓扑统一的人脸网格

我们提出了一种面向多视角重建的具有一致拓扑的面网格的网格体渲染方法，通过将稀疏网格特征扩散到周围空间以模拟体渲染所需的辐射场，从而实现对网格几何和隐式外观特征的梯度反向传播，并展示了变形不变性的特性以实现网格编辑后的逼真渲染。

Apr, 2024

MVF-Net: 多视角 3D 人脸可塑模型回归

本文提出一种基于卷积神经网络和多视图图像的 3D 人脸重建方法，使用自监督的视角对齐损失来减少视图之间对齐误差，并使用光流法预测 3D 形状，实现更好的 3D 重建结果。

Apr, 2019

通过学习隐式函数从多视角图像中恢复详细的面部几何形状

本文提出了一种新型架构来在数十秒内恢复极其详细的 3D 人脸，通过在多视图图像中拟合一个 3D 可塑模型，提取并聚合多个图像的特征，学习一种用于回归匹配成本的隐式函数。与先前的学习方法相比，在 FaceScape 数据集上准确性更高。

Jan, 2022

三维面部重建的分离姿势和形状

提出了一种深度学习技术结合三维可塑模型（3DMM）进行三维人脸重建的方法，通过结合结构运动（SFM）和多视图立体（MVS）技术，构建了一个端到端的流水线，用于稳定准确地求解姿态和形状，并在量化和质量结果方面显示出明显的改进。

Aug, 2023

可学习配准实现的即时多视角头部捕捉

TEMPEH 是一个基于多视图图像拍摄的 3D 头部模型重建方法，它采用体积特征表示法，联合训练 3D 头部批量数据集的非刚性注册，从而实现了直接从校准的多视图图像中推断出密集对应的 3D 头部模型，而无需进行扫描，该方法可以高效地捕获包含多个人的大型数据集及多样的面部运动。

Jun, 2023

VisFusion：基于可见性的在线视频三维场景重建

提出了一种名为 VisFusion 的可见性感知在线 3D 场景重建方法，通过对单目视频进行姿态估计来恢复场景的体量特征，并提出了细节保留的局部稀疏化方法和分层预测 TSDF 的方法，实验结果表明我们的方法能够获得卓越的性能。

Apr, 2023

VolumeFusion：基于深度学习的三维场景重建深度融合技术

本文介绍了一种利用深度神经网络复制传统的 local depth maps calculation 和 global depth maps fusion 两步骤框架，以改善对 3D 场景重建精度和可解释性的计算机视觉任务方法。此外，作者还提出了一种称为 PosedConv 的旋转不变的 3D 卷积核，用于提高从非常不同视角获取的图像之间的匹配效率。作者在 ScanNet 数据集上进行了大量实验证明提出的方法在深度神经网络和传统计算机视觉技术中具有竞争力。

Aug, 2021

Topo4D：用于高保真度 4D 头部捕捉的拓扑保持高斯喷洒

提出了一种名为 Topo4D 的新框架，通过优化校准的多视图时间序列图像来直接生成密集对齐的 4D 头部和 8K 纹理地图，从而简化多视图立体和非刚性对齐方法生成动态拓扑网格和对应纹理地图的过程。

Jun, 2024

使用带引导的稀疏特征体积融合从单目视频中增量稠密重建

本文提出了基于特征体积的实时密集重建方法，采用稀疏的深度特征体积来预测 TSDF 值，通过多视角图像聚合细节信息进行时序融合，实现了比以往更高分辨率和更完整细节的三维几何图形重建，其在室内和室外场景中都比现有的方法具有更好的实时重建性能。

May, 2023

MVSBoost：一种高效的基于点云的 3D 重建

通过结合多视角全景图像、鲁棒的相机位姿估计、先进的图像处理以及点云密度化、网格重建和纹理生成等技术，本论文提出了一个增强型的多视角立体重建框架，显著提高了传统方法的准确性和精度，在处理遮挡和视角变化的复杂场景重建方面表现出了优异的计算效率和鲁棒性，对于实时处理和可扩展性要求高的情况，可以与当前最先进的神经隐式场方法相竞争甚至超越。

Jun, 2024