Jun, 2017

语义感知的多视角表面细化

PDF
TL;DR本研究提出了一种同时更新 3D 表面网格的几何形状和语义分割的方法，其通过交替更新形状和语义标签来进行优化，并在几何细化步骤中使用变分能量最小化来进行网格变形，通过标记特定形状先验来考虑几何形状与语义标签之间的交互作用，在语义分割步骤中，我们使用 MRF 推理更新网格上的分类标签，以使它们与输入图像中的语义分割兼容，并使用先验假设来对不同语义类别的表面形状进行建模，实验表明，该方法可以改善 3D 几何和语义分割。
3d surface meshesgeometrysemantic segmentationphoto-consistencymrf inference
发现论文，激发创造
  • 单视角语义网格细化的多视图立体匹配

    本文提出了一种新颖的方法，通过应用变分方法和 MRF 来细化给定网格的几何和语义标注，并针对通过半监督学习直接估计类特定先验的方法进行了改进。

    Aug, 2017

  • 虚拟多视角融合用于三维语义分割

    本文通过重新审视三维网格的经典多视图表示方法，研究了几种技术，使其可用于三维语义网格的语义分割。给定一个从 RGBD 传感器重建的三维网格，本文方法有效地选取不同的虚拟视图，并渲染多个二维通道，以训练出有效的二维语义分割模型；最终将多视讯预测的特征融合到三维网格顶点上，预测网格语义分割标签。

    Jul, 2020

  • 神经语义表面地图

    我们提出了一种自动化技术，用于计算两个零层面的形状之间的映射，将语义对应的区域互相匹配。我们的方法通过多个视点渲染一对 3D 形状，然后将生成的渲染输入到一个现成的图像匹配方法中，以利用预训练的视觉模型生成特征点。这产生了语义对应，可以投射回 3D 形状，生成不准确且在不同视点之间不一致的原始匹配。这些对应通过专门的优化方案进行精炼和提炼，形成了一个表面间映射，促进了输出映射的双射性和连续性。我们证明了我们的方法可以生成语义表面到表面的映射，消除了手动注释或任何 3D 训练数据的需求。此外，它在具有高语义复杂性的情景中也证明了有效性，在这些情景下，物体是非等距的关系，以及在几乎等距的情况下。

    Sep, 2023

  • 基于语义一致性的自监督单视图 3D 重建

    我们提出了一种自监督的，单视图三维重建模型，通过 2D 图像和物体的轮廓预测目标物体的 3D 网格形状、纹理和相机姿势，该方法不需要三维监督，手动注释的关键点，物体的多视图图像或先前的 3D 模板，通过自监督地学习分类特定图像的部分分割，我们可以在重建网格与原始图像之间有效强制实现语义一致性，从而大大减少了模型在预测物体形状、纹理和相机姿态时的歧义，并且我们的模型可以不需要这些标签而轻松地推广到各种物体类别。

    Mar, 2020

  • 语义视图合成

    本文介绍了一种新的语义视图综合问题，通过使用语义标签图作为输入生成合成场景的自由视角渲染，在现有图像 / 视图综合方法的基础上，提出了一个两步方法，第一步合成可见表面的颜色和深度，第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响，该方法在室内外场景中得到了良好的效果。

    Aug, 2020

  • 基于原型形状先验的半监督单视角 3D 重建

    提出一种半监督三维重建框架 SSP3D，引入基于注意力引导的原型形状先验模块、鉴别器引导模块和正则化器来实现更好的形状生成，在 ShapeNet 基准测试中，在不同标注率下，性能均明显优越，并且对于少量有标注数据的新类别也能够取得很好的成果。

    Sep, 2022

  • 用于高分辨率卫星图像的光度多视图网格细化

    该篇论文介绍了一种通过多视角卫星图像获取完整三维表面网格的方法，并通过优化表面与梯度下降算法对数字高程模型进行完善，同时展示了该方法通过卫星数据可用于立面结构等的三维几何重建。

    May, 2020

  • 医学图像的形状感知半监督三维语义分割

    本研究提出新型的半监督学习策略来提高医学图像分割的形状估计性能，该方法采用多任务深度网络来同时预测语义分割和物体表面有符号距离图，并通过敌对损失来有效地捕捉形态感知特征.

    Jul, 2020

  • 使用学习编码的场景表示进行单目密集语义重建

    该研究提出了一种基于变分自编码器的语义表示方法，实现了对三维语义地图的实时增量建立与空间一致的语义标签融合，可以用于单目关键帧语义映射系统，并能够实现对位姿、几何和语义的联合优化。

    Mar, 2019

  • NeuSurf：基于表面先验的稀疏输入视图下的神经表面重建

    利用表面先验信息实现稀疏视角下高保真度的重构，通过全局几何对齐和本地几何细化，优化粗糙形状和细节，实现的稀疏视角重构框架在稀疏视图下得到了显著提升。

    Dec, 2023