使用合成训练生成模型进行文化艺术品的一对多三维几何重建
本论文介绍了一种基于卷积神经网络和生成随机几乎逼真的面部图像的方法,可以通过单张照片快速、稳健地重建面部的三维几何结构,即使在极端表情和各种光照条件下也可以成功恢复面部形状。
Sep, 2016
研究了从手绘草图重建立体物体的挑战,提出了数据生成和标准化机制,并对各种风格的手绘草图进行了广泛实验,进一步增强了草图在交互设计和 VR/AR 游戏等 3D 相关应用中的能力。
Jun, 2020
本文的研究目的是从单个图像中推断出物体的三维形状,为了实现这一目标,本文使用雕塑作为实验数据集,并基于多视角几何(MVG)的成功经验,提出了一种新的损失函数,利用图像与图像之间的对应关系训练深度网络,完成端到端的单张图像深度估计任务。同时,为了自动地生成大规模的多视图对应数据集,本文提出了一种数据处理方法。在多种雕塑的数据集上的实验表明,本方法可以从单张图像中推断出新物体的三维形状,并且在测试时可以泛化到新的领域(如合成图像)中。
Sep, 2018
该研究提出了一种新的框架,可以在只有 2D 图像且每个实例只有一个视角的情况下,从单张图像中进行特定类别的三维重建和新形状的生成,并支持较弱的监督。采用网格作为输出表达方式,利用光照参数和明暗信息进行训练,支持对洼地的物体类别进行学习。通过五项应用评估,发现该方法的性能表现优于现有的一些方法。
Jan, 2019
该研究旨在探索利用虚拟现实草图作为 3D 模型生成网络的条件模态之一,通过使用多模态 3D 形状表示和实现物理合理性的方法,在模型训练过程中采用特定的损失函数以生成遵循输入草图结构的多个 3D 模型的问题。
Jun, 2023
本文提出了一种基于对抗训练的框架来解决单视角 3D 形状重建中存在的挑战,该框架通过降低自然和合成图像之间的差异、迫使重建在逼真的物体形状流形上以及实施其他约束来改进性能。实验结果表明,该方法优于基线模型,且采用简化模型即可达到与最先进方法相当的结果。
Dec, 2018
本文提出了一种名为 MarrNet 的端到端可训练模型,它在获取 2.5D 草图后,成功实现了 3D 物体形状的重建,从而解决了真实图像上的 3D 物体标注稀缺问题,并得到了最先进的 3D 物体形状重建效果。
Nov, 2017
论文提出了一种统一框架,用于解决单幅图像特定类别的 3D 重建和新 3D 形状生成的问题。该方法支持弱监督学习,只需要单个实例的 2D 图像,使用网格作为输出表示,并利用光照信息提高了性能。实验结果表明,该方法在定量度量上与最新的基于体素方法相当或优于,而且结果更加美观,并且在弱监督学习方面表现良好。
Jul, 2018
本研究提出一种通用重建算法(GenRe),利用深度和轮廓等 2.5D 表示方法和球形和体素表示方法,旨在捕捉更通用,不受特定类别约束的形状先验知识,实验结果表明该算法可以很好地解决从单张图像还原 3D 形状,并且能够泛化到未在训练中见过的多种不同类别的新物体。
Dec, 2018
通过基于扩散模型的 HumanWild 方法,我们展示了由生成模型创建的合成数据与计算机图形渲染数据互补,从而在 3D 人体姿态和形状估计方面在多样化的真实场景中实现了卓越的泛化性能。
Mar, 2024