3D 形状检索和变形的联合学习
提出了一种新的联合人脸对齐和三维人脸重建方法,该方法可以自动生成姿态和表情归一化的三维人脸,并能恢复可见和不可见的二维人脸关键点,从而可以改善跨姿态和表情的人脸识别准确性。实验结果表明,该方法在人脸对齐和三维人脸重建方面均达到了最先进的精度。
Aug, 2017
本论文提出用深度学习的方法,引入形状变形网络,同时编码 3D 形状和相应关系,通过将表面表示因子化为模板和学习的全局特征向量相结合,来匹配可变形的形状。
Jun, 2018
我们介绍了一种新颖的基于学习的方法,用于编码和操作 3D 表面网格。我们的方法专门设计用于创建可解释的可变形形状集合的嵌入空间。与以前需要网格处于一对一对应关系的 3D 网格自编码器不同,我们的方法是以无监督的方式训练的,可以处理各种各样的网格。我们方法的核心是一种谱池化技术,它建立了一个通用的潜空间,摆脱了网格连通性和形状类别的传统限制。整个过程包括两个阶段。在第一阶段,我们采用函数映射范例以无监督的方式提取一组形状之间的点对点映射。然后利用这些点对点映射构建一个公共的潜空间,以确保直观解释和独立于网格连通性和形状类别。通过大量实验证明,我们的方法实现了优秀的重建,并产生了比基准方法更真实、更平滑的插值。
Oct, 2023
通过自监督学习,本文提出了 ShapeMaker,一个统一的形状规范化、分割、检索和变形的框架,通过提取点级别的仿射不变特征来规范化对象,预测语义一致的部分分割和对应的中心,聚合特征进行形状检索,然后使用神经笼变形将目标物体与检索到的形状进行紧密拟合,实验证明 ShapeMaker 在各个任务上超过了竞争对手。
Nov, 2023
本研究提出了一种基于深度学习的方法,结合独立对象的预测和对象间关系的推理,实现场景中物体的三维形状和姿态预测,并在不同数据集上进行了性能测试。
Jun, 2019
本文提出了一种编码器 - 解码器网络架构,用于从单个 2D 图像中分离出形状特征,从而能够同时实现重建准确的 3D 人脸形状和学习面部识别的判别形状特征。与现有的 3D 人脸重建方法不同,我们的方法直接从单个 2D 图像回归密集的 3D 人脸形状,并根据一个含有潜在表示的组合 3D 人脸形状模型,明确地分开处理了 3D 人脸形状的身份和残差(即非身份)部分。我们制定了一个训练流程,用联合损失来衡量面部识别错误和 3D 人脸形状重建错误,为此我们开发了一种将 3D 形态可塑模型(3DMM)适配到多幅同一主体的 2D 图像上的方法。广泛的实验在 MICC、BU3DFE、LFW 和 YTF 数据库上进行。结果表明,我们的方法扩展了 3DMM 捕捉判别形状特征和面部细节的能力,因此在 3D 人脸重建准确性和面部识别准确性方面均优于现有方法。
Mar, 2018
本文提出将形状表示为可学习的三维基本结构的变形和组合,并演示了学习到的基本结构在三维形状生成和匹配方面的显著改进,通过区块变形学习和点翻译学习两种方法,在 ShapeNet 对象重建和人体扫描之间的稠密对应估计中取得了比现有方法更好的结果。
Aug, 2019
该研究论文介绍了一种新的神经网络结构 DeformerNet,可以帮助机器人处理和变形 3D 有弹性物体的操作,从而可靠地完成手术子任务,无需事先制作特定形状。
May, 2023
本文介绍了 KP-RED,一个统一的基于关键点的检索和变形框架,以目标物体扫描作为输入,并联合检索和变形与目标最相似的几何 CAD 模型,通过使用类别一致的稀疏关键点来自然地处理完整和局部物体扫描。
Mar, 2024