While 3D reconstruction is a well-established and widely explored research
topic, semantic 3d reconstruction has only recently witnessed an increasing
share of attention from the Computer Vision community. Semantic annotations
allow in fact to enforce strong class-dependent priors, as
本研究提出了一种同时更新 3D 表面网格的几何形状和语义分割的方法，其通过交替更新形状和语义标签来进行优化，并在几何细化步骤中使用变分能量最小化来进行网格变形，通过标记特定形状先验来考虑几何形状与语义标签之间的交互作用，在语义分割步骤中，我们使用 MRF 推理更新网格上的分类标签，以使它们与输入图像中的语义分割兼容，并使用先验假设来对不同语义类别的表面形状进行建模，实验表明，该方法可以改善 3D 几何和语义分割。
我们提出了一种自监督的，单视图三维重建模型，通过 2D 图像和物体的轮廓预测目标物体的 3D 网格形状、纹理和相机姿势，该方法不需要三维监督，手动注释的关键点，物体的多视图图像或先前的 3D 模板，通过自监督地学习分类特定图像的部分分割，我们可以在重建网格与原始图像之间有效强制实现语义一致性，从而大大减少了模型在预测物体形状、纹理和相机姿态时的歧义，并且我们的模型可以不需要这些标签而轻松地推广到各种物体类别。