从 2D 图像中分离属性流进行 3D 形状重构
本文介绍了一种设计三维人脸形状表征的新策略。通过将面部形状分解为身份部分和表情部分进行非线性编码和解码,利用属性分解框架对三维面孔网格进行表示,以更好地表示通常在彼此之间非线性变形的面孔形状。实验结果表明,我们的方法在分解身份和表情部分方面比现有方法表现更好,而且可以使用我们的方法获得更自然的表情转移结果。
Feb, 2019
本文提出了一种编码器 - 解码器网络架构,用于从单个 2D 图像中分离出形状特征,从而能够同时实现重建准确的 3D 人脸形状和学习面部识别的判别形状特征。与现有的 3D 人脸重建方法不同,我们的方法直接从单个 2D 图像回归密集的 3D 人脸形状,并根据一个含有潜在表示的组合 3D 人脸形状模型,明确地分开处理了 3D 人脸形状的身份和残差(即非身份)部分。我们制定了一个训练流程,用联合损失来衡量面部识别错误和 3D 人脸形状重建错误,为此我们开发了一种将 3D 形态可塑模型(3DMM)适配到多幅同一主体的 2D 图像上的方法。广泛的实验在 MICC、BU3DFE、LFW 和 YTF 数据库上进行。结果表明,我们的方法扩展了 3DMM 捕捉判别形状特征和面部细节的能力,因此在 3D 人脸重建准确性和面部识别准确性方面均优于现有方法。
Mar, 2018
本研究提出了一种基于二阶段重建管道的方法来生成真实但新颖的人物图像,该方法利用解耦表示学习各种图像因素,并同时生成新的人物图像,实验结果表明该方法不仅能够生成具有新前景、背景和姿态的逼真人物图像,还能用于人物再识别任务。
Dec, 2017
本文提出一种无监督学习方法,通过观察未标记的多视角视频,学习将一个包含多种物体的复杂场景的单幅图像观察映射到一个三维神经场景表示,可以将该表示分解为可移动和不可移动的部分,并通过神经渲染进行自监督训练,从而实现基于对象的三维表示、新视角合成、实例分割和三维边界框预测等多种下游任务,并通过对象操作(如删除、插入和刚体运动)实现场景编辑。
Jul, 2022
该论文提出了一种新的室内场景语义分割方法,使用一个新的 3D-to-2D 分解框架,可以从大规模的 3D 数据中提取 3D 特征,以增强从 RGB 图像中提取的 2D 特征,并通过对其进行标准化和语义相关的对抗性训练对其进行改进。
Apr, 2021
该研究提出了一种从单个 RGB 图像中恢复三维形状结构的方法,包括由立方体表示的形状部件和涵盖连通性和对称性的部件关系,并通过卷积递归自编码器实现编码解码过程,最终通过对立体多边形层次结构的恢复实现了对单个视角二维图像的恢复。
Apr, 2018
该研究提出了一种基于解缠表示的方法,用于在无成对的训练图像的情况下产生多样化的输出,在领域适应方面具有竞争性表现,并且在多种任务上可以生成多样化与逼真的图像。
Aug, 2018
本文提出了一种基于 3D 生成模型的非刚性可变形场景表达方法,通过联合学习规范模型及其变形,并使用姿态正则化损失来改善模型的场景与摄影视角的分离性,同时还可以嵌入真实图像中并进行编辑。
Mar, 2022
本研究提出了一种神经网络架构,将 RGB-D 图像分离为物体的形状和样式以及背景场景的地图,并探索了它们在少样本三维物体检测和少样本概念分类的应用。
Nov, 2020