使用学习编码的场景表示进行单目密集语义重建

CVPRMar, 2019

使用学习编码的场景表示进行单目密集语义重建

SceneCode: Monocular Dense Semantic Reconstruction using Learned Encoded Scene Representations

Shuaifeng Zhi, Michael Bloesch, Stefan Leutenegger, Andrew J. Davison

TL;DR该研究提出了一种基于变分自编码器的语义表示方法，实现了对三维语义地图的实时增量建立与空间一致的语义标签融合，可以用于单目关键帧语义映射系统，并能够实现对位姿、几何和语义的联合优化。

Abstract

Systems which incrementally create 3d semantic maps from image sequences must store and update representations of both geometry and semantic entities. However, while there has been much work on the correct formulation for geometrical estimation, state-of-the-art systems usually rely on

3d semantic maps semantic representations variational auto-encoder semantic label fusion monocular keyframe

发现论文，激发创造

CodeSLAM - 学习一种紧凑的、可优化的密集视觉 SLAM 表示

本文介绍了一种基于单张图像强度数据的密集场景几何表示方法，在单目稠密 SLAM 系统中具有优异的性能表现。

Apr, 2018

CodeMapping: 使用紧凑场景表示进行稀疏 SLAM 的实时稠密映射

本篇文章提出了一种用于稀疏视觉 SLAM 系统的新型稠密建图框架，它基于一种紧凑的场景表示方式，可以用于机器人和增强现实等应用领域。该框架使用了变分自编码器，通过多视角优化可以改善重叠帧的一致性，对于任意度量的稀疏 SLAM 系统进行无缝集成，能够进行全局一致的稠密三维重建。

Jul, 2021

几何与语义相遇：半监督单目深度估计

通过利用语义标记的图像和通过图像变形获得的无监督信号来联合学习语义分割和深度估计，提出了一种半监督的深度估计方法，结果表明在 KITTI 数据集上超过了单目深度估计的先进方法。

Oct, 2018

自监督单目深度的语义引导表示学习

本文研究自监督学习中如何直接运用语义结构来指导几何表示的学习，提出了一种新的基于预训练语义分割网络和像素自适应卷积的架构，并使用两阶段训练过程来克服动态对象上的常见语义偏差。结果表明该方法在所有像素、细节和语义类别上都优于现有方法，实现了自监督单目深度预测的最新水平。

Feb, 2020

自监督单目深度估计的细粒度语义感知表示增强

本文提出了在无监督单目深度估计中引入跨域语义信息以提高几何表示的新思路，包括度量学习方法和特征融合模块，并在 KITTI 数据集上全面评估，在弱质地区和物体边界的监督限制下，本文提出的方法优于现有技术。

Aug, 2021

单目 SLAM 的半稠密三维语义映射

本论文将最新的深度学习方法与基于视频流的半稠密 SLAM 相结合，在室内 / 室外数据集中得到了更好的 2D 语义标签识别，无需针对序列中的每一帧获得语义分割，其时间复杂度也得以合理控制。

Nov, 2016

单视角语义网格细化的多视图立体匹配

本文提出了一种新颖的方法，通过应用变分方法和 MRF 来细化给定网格的几何和语义标注，并针对通过半监督学习直接估计类特定先验的方法进行了改进。

Aug, 2017

使用卷积变分编码器 - 解码器网络进行单目语义占据栅格地图绘制

该研究使用单目摄像头的弱立体视觉信息，通过变分编码器 - 解码器网络实现了从前视图到鸟瞰图的语义度量占用栅格地图学习，并优于传统方法，在城市街景数据集上 mean IoU 提升 12% 以上，并实现了对未见数据的鲁棒性和实时推理速度。

Apr, 2018

学习的语义多传感器深度图融合

通过神经网络重建，将基于截断有符号距离函数的三维重建方法从多个方面进行了推广，包括语义信息的丰富、多传感器数据融合、场景去噪与完整以及专家系统整合。

Sep, 2019

利用视点引导的球面映射改善语义对应

自监督表征学习在提取图像特征方面取得了近期的进展，但在面对对称性和重复部分等具有挑战性的图像特征时仍存在限制。为了解决这些限制，本文提出一种新的语义对应估计方法，将有区分度的自监督特征与三维理解相结合，通过弱几何球面先验进行补充。与更复杂的三维流程相比，我们的模型仅需要弱视点信息，我们球面表示的简单性使我们能够在训练过程中注入信息丰富的几何先验。我们提出了一个更好地考虑重复部分和对称性误差的新评估指标。我们在具有挑战性的 SPair-71k 数据集上呈现结果，表明我们的方法能够在许多物体类别上区分对称视图和重复部分，并且还证明我们能够推广到 AwA 数据集上的未见类别。

Dec, 2023