神经语义表面地图

Sep, 2023

Neural Semantic Surface Maps

Luca Morreale, Noam Aigerman, Vladimir G. Kim, Niloy J. Mitra

TL;DR我们提出了一种自动化技术，用于计算两个零层面的形状之间的映射，将语义对应的区域互相匹配。我们的方法通过多个视点渲染一对 3D 形状，然后将生成的渲染输入到一个现成的图像匹配方法中，以利用预训练的视觉模型生成特征点。这产生了语义对应，可以投射回 3D 形状，生成不准确且在不同视点之间不一致的原始匹配。这些对应通过专门的优化方案进行精炼和提炼，形成了一个表面间映射，促进了输出映射的双射性和连续性。我们证明了我们的方法可以生成语义表面到表面的映射，消除了手动注释或任何 3D 训练数据的需求。此外，它在具有高语义复杂性的情景中也证明了有效性，在这些情景下，物体是非等距的关系，以及在几乎等距的情况下。

Abstract

We present an automated technique for computing a map between two genus-zero shapes, which matches semantically corresponding regions to one another. Lack of annotated data prohibits direct inference of 3D semantic priors; instead, current State-of-the-art methods predominantly optimiz

automated technique semantic matches 3d shapes visual model surface-to-surface maps

发现论文，激发创造

利用视点引导的球面映射改善语义对应

自监督表征学习在提取图像特征方面取得了近期的进展，但在面对对称性和重复部分等具有挑战性的图像特征时仍存在限制。为了解决这些限制，本文提出一种新的语义对应估计方法，将有区分度的自监督特征与三维理解相结合，通过弱几何球面先验进行补充。与更复杂的三维流程相比，我们的模型仅需要弱视点信息，我们球面表示的简单性使我们能够在训练过程中注入信息丰富的几何先验。我们提出了一个更好地考虑重复部分和对称性误差的新评估指标。我们在具有挑战性的 SPair-71k 数据集上呈现结果，表明我们的方法能够在许多物体类别上区分对称视图和重复部分，并且还证明我们能够推广到 AwA 数据集上的未见类别。

Dec, 2023

零射 3D 形状对应

本文提出一种新颖的零样本方法，用于计算 3D 模型之间的对应关系，特别是针对具有很强差异性和不同类别之间匹配的问题，并在零样本情况下使用 language-vision model 方法进行分类，使用 ChatGPT 生成语义映射，并使用 functional maps framework 进一步细化到点对点映射。

Jun, 2023

嵌入式形状匹配在摄影测量数据中的应用于建模知识

使用摄影测量学、三维模型、模式识别、表面表示和文化遗产，提出了一种新的基于映射的文化遗产设计和制作方法。

Dec, 2023

体积语义一致的三维全景建图

我们介绍了一种在线的二维到三维语义实例映射算法，旨在生成适用于非结构化环境中的自主代理的全面、准确且高效的语义三维地图。该方法基于最近算法中使用的 Voxel-TSDF 表示，引入了在映射过程中集成语义预测置信度的新方法，产生了语义和实例一致的三维区域。通过基于图优化的语义标记和实例细化，进一步提高了准确性。该方法在公共大规模数据集上的准确性优于现有技术，改进了一些广泛使用的度量标准。我们还指出了最近研究评估中的一个问题：使用真实轨迹作为输入而不是 SLAM 估计的轨迹，这对准确性产生了重大影响，导致了报告结果与实际在实际数据上的性能之间存在很大差距。

Sep, 2023

语义感知的多视角表面细化

本研究提出了一种同时更新 3D 表面网格的几何形状和语义分割的方法，其通过交替更新形状和语义标签来进行优化，并在几何细化步骤中使用变分能量最小化来进行网格变形，通过标记特定形状先验来考虑几何形状与语义标签之间的交互作用，在语义分割步骤中，我们使用 MRF 推理更新网格上的分类标签，以使它们与输入图像中的语义分割兼容，并使用先验假设来对不同语义类别的表面形状进行建模，实验表明，该方法可以改善 3D 几何和语义分割。

Jun, 2017

半监督式少样本学习的神经视图合成与匹配于 3D 姿态

本文提出了一个基于神经网络视图合成和匹配的学习框架，通过生成的伪标签来学习众多未标注图像中的物体 3D 姿态估计，同时结合 EM 算法的方式，逐步提高特征提取器在不同 3D 视角下的不变性，并通过在 PASCAL3D+ 和 KITTI 数据集上进行的实验证明，该方法在少样本学习下，尤其是掩盖度极高的情况下，比其他基线方法表现更好，且具有出色的鲁棒性。

Oct, 2021

语义跨视图匹配

本研究提出了一种自动检测和表示 RGB 图像语义信息的方法，以实现与非 RGB 地理信息系统（GIS）进行跨视图匹配，利用由语义概念（如交通标志、湖泊、道路、植被等）分配的图像分割区域进行描述符的设计和匹配。实验证明此方法有效。

Oct, 2015

强度谱形匹配的无监督学习

我们提出了一种新的基于学习的方法来进行 3D 形状匹配，可以在完全非监督的情况下进行训练，并可准确处理非等距形状、局部形状、不同离散化或拓扑噪声的形状。

Apr, 2023

SNAP：自监督神经地图用于视觉定位与语义理解

通过使用人工智能技术，本文介绍了一种名为 SNAP 的新型神经网络，可以自动创建丰富的 2D 地图，并具有更高级的语义信息。该方法可以解决创建和维护 2D 地图的困难，并在定位方面取得了业界领先的表现。

Jun, 2023

结构形状匹配的无监督深度学习

本篇论文提出一种新方法，使用无监督学习计算三维形状之间的对应关系。该方法使用描述符函数的非线性变换，并同时优化映射结果的全局结构性质，例如双射性或近似等度性，在最近邻域上进行匹配，从而有望在不需要先验信息的情况下建立三维形状集合内部的对应关系。

Dec, 2018