通过多图像无监督学习实现逼真的单视角三维物体重建
本文提出一种从2D图像中学习生成3D结构的深度生成模型,并通过概率推断从3D和2D图像中恢复这些结构,从而实现了第一个纯无监督学习下学习推断3D表示的方法,并在几个数据集上建立了基准模型。
Jul, 2016
本论文介绍了一种无监督学习方法,将三维形状信息嵌入到单视图图像表示中,通过使用单个2D图像的自监督训练目标,在没有人工语义标签的前提下,鼓励表示捕捉基本形状原语和语义规律,最终学习得到一个强大的表示方法,可以成功进行物体识别和“心理旋转”操作,成果优于相对应的其他无监督学习方法。
Sep, 2017
该研究提出了一种训练鉴别器和重构器的方法,在重构器中使用先验知识来纠正未被观察到的视角,以便从任意视角重新构建形状。与目前最先进的方法相比,实验结果表明该方法在合成和自然图像数据集上表现更好。
Nov, 2018
该研究提出了一种新的框架,可以在只有2D图像且每个实例只有一个视角的情况下,从单张图像中进行特定类别的三维重建和新形状的生成,并支持较弱的监督。采用网格作为输出表达方式,利用光照参数和明暗信息进行训练,支持对洼地的物体类别进行学习。通过五项应用评估,发现该方法的性能表现优于现有的一些方法。
Jan, 2019
本文提出一种新的模型架构,将单视角三维重建重新定义为分类无关的先验纠正学习,初步结果表明该模型可以从提供的少至一组三维形状开始对目标物品进行分类再建,无需重新训练,且对于多视角的立体成像也有较好表现。
Sep, 2019
本文提出了一种无需外部监督学习从单视角图像中学习三维可变形物体类别的方法,该方法基于自编码器,将每个输入图像分解为深度、漫反射、观察角度和光照,通过利用物体对称结构来分解这些组件,推理光照使我们能够利用底层的物体对称性,即使外观不对称,而是由于阴影造成的。此外,我们通过预测对称概率地图来建模可能但不一定对称的对象,该地图与模型的其他组件一起端到端地学习。我们的实验表明,这种方法可以从单视角图像中非常准确地恢复人类脸部、猫脸和汽车的三维形状,而不需要任何监督或先前的形状模型。与使用2D图像对应的监督方法相比,在基准测试中,我们表现出优越的准确性。
Nov, 2019
利用三维表面几何约束以及反射对称性,从单个二维图像中恢复三维网格,相对于现有的2D和2.5D数据的三维重建方法,实现了更好的细节保留和性能表现。
Dec, 2019
该研究提出了一种新的方法,可以同时恢复3D对象的几何形状和基于部分的分解,以及它们之间的潜在层次结构,实验证明考虑部分的组织确实有助于推理三维几何。
Apr, 2020
本文提出在三维形状分析领域中将InfoMax和对比学习原则进行拓展,通过最大限度地利用三维物体及其“块”之间的相互信息来改善几何对齐数据集中的表示,以及通过在三维物体和其几何变换版本之间最大化相互信息来实现SO(3)群中的旋转不变性。在聚类、迁移学习、形状检索等实验中,实现了最先进的结果。
Jun, 2020
本文提出了一个无监督类别特定网格重构学习框架,可以从一组没有3D地面真实值的图像中恢复出物体的3D形状、姿态和纹理,并维护了一个优化的摄像机假设集以更好地解释给定形状和纹理的图像, 并在CUB、Pascal 3D和新的网页抓取数据集上获得了最先进的摄像机预测结果。
Jul, 2020