ShapeCodes: 将视角提升至视图网格以进行自我监督特征学习
本文提出一种从2D图像中学习生成3D结构的深度生成模型,并通过概率推断从3D和2D图像中恢复这些结构,从而实现了第一个纯无监督学习下学习推断3D表示的方法,并在几个数据集上建立了基准模型。
Jul, 2016
从学习代理的角度探究了单视角3D物体重建任务,提出了一种包含透视变换定义的新型投影损失的编码器-解码器网络,实现了从单个2D图像生成3D体积的无监督学习,并通过实验证明了投影损失提高了3D对象重建的性能和泛化能力。
Dec, 2016
本文提出一种学习框架,可以从单个图像中恢复物体的3D形状、相机、和纹理,使用一个可变形的3D网格模型来表示形状,在不依赖于地面真值3D或多视图监督的情况下,利用注释的图像集进行训练并学习3D预测机制与可变形模型。作者还展示了可以轻松将语义关键点与预测的形状相关联,并在CUB和PASCAL3D数据集上展示了我们的方法的定性和定量结果。
Mar, 2018
本篇论文的目标是比较基于表面和基于体积的3D对象形状表示,以及基于观察者和基于对象的参照框架,在单视角3D形状预测中的表现。我们提出了一种新算法,可以从多个视角预测深度图,以单个深度或RGB图像为输入,并修改了网络和模型评估方式,以直接比较表面和体素、观察者和对象中心对熟悉和不熟悉对象的预测表现。我们发现,基于表面的方法优于基于体素的方法,对来自新类的对象产生更高分辨率的输出。基于观察者中心的坐标有助于处理新对象,而基于对象中心的表示法更适合处理熟悉的对象。值得注意的是,坐标框架对学习的形状表示有显著影响,基于对象中心的表示法更加重视隐式地识别对象类别,而基于观察者中心则对类别识别的依赖较少。
Apr, 2018
该研究提出了一种训练鉴别器和重构器的方法,在重构器中使用先验知识来纠正未被观察到的视角,以便从任意视角重新构建形状。与目前最先进的方法相比,实验结果表明该方法在合成和自然图像数据集上表现更好。
Nov, 2018
本研究提出一种通用重建算法(GenRe),利用深度和轮廓等2.5D表示方法和球形和体素表示方法,旨在捕捉更通用,不受特定类别约束的形状先验知识,实验结果表明该算法可以很好地解决从单张图像还原3D形状,并且能够泛化到未在训练中见过的多种不同类别的新物体。
Dec, 2018
该研究提出了一种基于自下而上的识别系统和结构符号化程序的3D形状程序,通过自监督方式对3D形状程序进行学习,具有在不同领域中高精度的3D形状重建能力,结合图像到3D形状模块,能够实现从RGB图像直接推断出3D形状程序并重建出更加准确和真实的3D形状。
Jan, 2019
本文研究了从未观察到的物体实例的可变数量的RGB视图学习特定类别的3D形状重建问题,并提出了一种可以估计密集3D形状并在多个和不同数量的输入视图上聚合形状的方法。
Jul, 2019
本文提出了三种针对三维重建少样本的方法,并将类先验有效地整合到模型中,以便考虑类内变异性和强制实施隐式组合结构,从而在少样本场景中显著优于现有基线模型,实验在ShapeNet数据集上。
Apr, 2020
本文提出了一种基于单个RGB图像学习预测隐式3D物体形状表征的新型3D形状重构方法,使用多种无视角注释的单视角图像进行跨类别学习且仅使用标签进行监督,辅以分类度量学习与对抗性和视点正则化技术,取得了ShapeNet-13,ShapeNet-55和Pascal3D +数据集上优于最先进方法的效果。
Apr, 2022