D$^2$IM-Net:从单张图片学习细节分离的隐式场
本文提出了一种新颖的用于单视角图像重构三维模型的方法 ——Deep Implicit Surface Network (DISN), 结合全局和局部图像特征以显著提高预测精度,能够捕捉 3D 形状中的细节,包括孔洞和薄结构等,并且在多类形状的合成与实际图像重构中达到了最优性能。
May, 2019
本文提出了一种基于隐式场的解码器 IM-NET 来提高生成形状的视觉效果, 通过替换传统解码器,通过 IM-AE 进行表示学习和 IM-GAN 进行形状生成,可以在概念建模、插值和单角度 3D 重建等任务中获得更优秀的结果。
Dec, 2018
提出了一种新的基于图像的神经隐式场方法,该方法利用基于 GAN 生成的多视图图像的 2D 监督,并通过不确定性模块来提高重构性能,从而实现了泛化物体的单视角 3D 重构。
Jul, 2022
通过基于部件的隐式形状模型,我们设计了一种可以控制 3D 头像的方法,可以推断局部语义 Rig,包括面部特征,通过局部控制丰富了隐式形变字段,使其具有更强的局部控制性能。
Apr, 2023
本文提出了一种 Iterative Mutual Enhancement Network (IMENet),能够联合处理 3D 语义场景完成和 2D 语义分割任务,通过两个精细化模块 Deformable Context Pyramid 和 Deformable Depth Attention,在两个任务的高级特征上进行交互迭代优化融合,提高了模型在 NYU 和 NYUCAD 数据集上的泛化能力与模型性能。
Jun, 2021
该研究提出了一种从单个 RGB 图像中恢复三维形状结构的方法,包括由立方体表示的形状部件和涵盖连通性和对称性的部件关系,并通过卷积递归自编码器实现编码解码过程,最终通过对立体多边形层次结构的恢复实现了对单个视角二维图像的恢复。
Apr, 2018
本文提出了一种新的深度几何学习方法,通过构建保留欧几里得空间结构的三维潜在空间,可以提高网络在形状识别和重建上的性能,并且在 ShapeNet 和真实世界数据集上表现优于目前最先进的方法,并且能够自然而然地扩展到多视角重建。
Jun, 2020
利用 LIST 神经网络架构,借助局部和全局图像特征,精确地从单张图像中重建 3D 物体的几何和拓扑结构,既可以预测目标物体的粗糙形状,又能通过隐式预测器准确地预测任意点与目标表面之间的有向距离,模型在重建合成和真实世界图像中的 3D 物体方面表现出卓越的优势。
Jul, 2023
本论文提出了 Deformed Implicit Field (DIF) 表示法来建模 3D 物品的形状,实现物品之间稠密的对应关系。DIF-Net 神经网络通过学习一个特定类别的物品的形态潜在空间和这些物品的 Deformation Field 来实现对应关系的建立以及对物品形状差异的度量,还考虑了材质和形状编辑等应用。
Nov, 2020
本文提出了一种编码器 - 解码器网络架构,用于从单个 2D 图像中分离出形状特征,从而能够同时实现重建准确的 3D 人脸形状和学习面部识别的判别形状特征。与现有的 3D 人脸重建方法不同,我们的方法直接从单个 2D 图像回归密集的 3D 人脸形状,并根据一个含有潜在表示的组合 3D 人脸形状模型,明确地分开处理了 3D 人脸形状的身份和残差(即非身份)部分。我们制定了一个训练流程,用联合损失来衡量面部识别错误和 3D 人脸形状重建错误,为此我们开发了一种将 3D 形态可塑模型(3DMM)适配到多幅同一主体的 2D 图像上的方法。广泛的实验在 MICC、BU3DFE、LFW 和 YTF 数据库上进行。结果表明,我们的方法扩展了 3DMM 捕捉判别形状特征和面部细节的能力,因此在 3D 人脸重建准确性和面部识别准确性方面均优于现有方法。
Mar, 2018