无标注图像集的隐式网格重建
本论文介绍了一种无监督学习方法,将三维形状信息嵌入到单视图图像表示中,通过使用单个2D图像的自监督训练目标,在没有人工语义标签的前提下,鼓励表示捕捉基本形状原语和语义规律,最终学习得到一个强大的表示方法,可以成功进行物体识别和“心理旋转”操作,成果优于相对应的其他无监督学习方法。
Sep, 2017
本文提出一种学习框架,可以从单个图像中恢复物体的3D形状、相机、和纹理,使用一个可变形的3D网格模型来表示形状,在不依赖于地面真值3D或多视图监督的情况下,利用注释的图像集进行训练并学习3D预测机制与可变形模型。作者还展示了可以轻松将语义关键点与预测的形状相关联,并在CUB和PASCAL3D数据集上展示了我们的方法的定性和定量结果。
Mar, 2018
论文提出了一种统一框架,用于解决单幅图像特定类别的3D重建和新3D形状生成的问题。该方法支持弱监督学习,只需要单个实例的2D图像,使用网格作为输出表示,并利用光照信息提高了性能。实验结果表明,该方法在定量度量上与最新的基于体素方法相当或优于,而且结果更加美观,并且在弱监督学习方面表现良好。
Jul, 2018
该研究提出了一种新的框架,可以在只有2D图像且每个实例只有一个视角的情况下,从单张图像中进行特定类别的三维重建和新形状的生成,并支持较弱的监督。采用网格作为输出表达方式,利用光照参数和明暗信息进行训练,支持对洼地的物体类别进行学习。通过五项应用评估,发现该方法的性能表现优于现有的一些方法。
Jan, 2019
通过引入一种变分形状推理方法以及一种新的几何损失函数,我们提出了一种端到端的可训练模型,可以直接预测任意拓扑的隐式表面表示,并演示了该模型在3D表面预测任务中的准确性和灵活性。
Jan, 2019
本研究提出了一种基于射线场探测技术的隐式表面的学习方法,以及一种泛函约束方法,用于无需三维监督的三维形状推断。实验表明,在单视角基础上,使用我们的方法从图像中重建三维模型,无论是定量还是定性上都优于现有技术。
Nov, 2019
本文提出了一种基于深度学习的新方法,实现从单张RGB图像中重建出具有几十万个点的密集点云,包括RGB纹理,并在多个类别上进行训练以实现对未见类别的优越泛化性能。
Dec, 2019
本文提出了一个无监督类别特定网格重构学习框架,可以从一组没有3D地面真实值的图像中恢复出物体的3D形状、姿态和纹理,并维护了一个优化的摄像机假设集以更好地解释给定形状和纹理的图像, 并在CUB、Pascal 3D和新的网页抓取数据集上获得了最先进的摄像机预测结果。
Jul, 2020
本文提出通过联合训练隐式函数和新的粗球面基础表面重构方法解决多视角三维重建中高频细节重建效率低下的问题,并将其应用到多种隐式表面建模方法的训练过程中,从而获得在合成数据和实际数据集上的统一改进。
Sep, 2022
从单视图图像重建详细的3D场景仍然是一项具有挑战性的任务,我们提出了一种新颖的框架,用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场(SSR)表示,利用显式的3D形状监督和颜色、深度和表面法线图的体素渲染,克服了部分观测下形状和外观的模糊性,同时支持从新视点渲染图像。除了个体物体,我们的方法还支持将物体水平的表示组合成灵活的场景表示,从而实现了整体场景理解和3D场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。
Nov, 2023