本文介绍了一种基于神经网络和自动编码器的新型框架 —— 网格变分自编码器来研究分析具有形变的 3D 网格,通过在概率潜空间中探索 3D 表面,既可以代表 3D 动画序列,也可以代表同一类别的对象集合,具有大规模非线性形变的多样形状,广泛的实验表明我们的方法可以实现不同的形状性能,如形状生成、形状内插,形状空间嵌入和形状探索,取得了超越最先进方法的结果。
Sep, 2017
本文提出了一种不基于模板的完全卷积网格自编码器,其具有高精度的重构能力,能够对任意已注册的网格数据进行编码,对于传统的 3D 网格生成模型而言,其潜在编码具有更高的插值能力。
Jun, 2020
使用非线性潜在网格表示的手部形状和关节姿态,在照片上进行单目 3D 重建,该模型具有实时性能。
May, 2019
本文介绍了一种新方法,将表面网格的离散化转换为半正则网格,使其具有局部正则性连接和分层网格的性质,并使用空间卷积过滤器和池化算子来处理所有半正则网格,该方法的重构误差比当前最先进的模型低 50%以上。
Oct, 2021
本文介绍了一种基于多视角捕捉技术,利用深度变分自编码器来学习人脸的几何结构和外观特征联合表示,可实现对大规模、高度复杂的人脸几何结构的完美表现,从而能够适用于实时互动场景,例如虚拟现实 (VR) 应用。
Aug, 2018
本文探讨了三维数据表示方式的重要性,使用基于体素的模型来进行形状建模和物体分类,并提出了训练基于体素的变分自编码器、探索潜空间的用户界面和采用深度卷积神经网络实现物体分类的方法。最终在 ModelNet 基准测试中,我们的模型相较于最新技术提升了 51.5% 的物体分类准确率。
Aug, 2016
本篇研究利用基于深度学习的自编码器构建了一种新型 3DMM 模型,用于实现低计算复杂度下的面部重建及颜色渲染。
Apr, 2019
本文研究应用深度学习技术将单张静态图片转化为逼真的三维动画,重点探究四维面部表情的生成。作者运用一种称为深度网格编码器 - 解码器的技术,结合表情识别模型,以高分辨率的四维扫描数据集为基础,成功地实现了对面部表情的高度逼真合成,且具有较好地泛化能力。该研究是首次尝试解决四维面部表情合成的问题。
Jul, 2020
本文提出了一种基于深度卷积自编码器的新颖模型,用于从野外拍摄的单幅彩色图像重建三维人脸。通过将卷积编码器与专家设计的生成模型相结合,提出了一种新的可微分参数解码器。该解码器将基于生成式模型的图像形成解析包括在内,以输入的码向量作为输入,从单个单眼输入图像中提取具有明确定义语义含义的参数。该文章的一个突破是在无监督的情况下,首次实现了 CNN 编码器和专家设计的生成模型的端到端训练,这使得对非常大的(未标记的)真实世界数据进行训练成为可能。所得到的重建结果在质量和表示的丰富性方面均优于当前最先进的方法。
Mar, 2017
本文提出了一种名为 MeshGAN 的新型的生成对抗网络架构,该架构可以直接操作 3D 网格,成功应用于 3D 人脸表情生成。
Mar, 2019