CVPRMar, 2024

航空升降：城市语义及建筑实例升降的神经网络从航拍图像中

PDF
TL;DR通过将 nosiy 的 2D 标签提升至 3D，我们提出了一种用于城市规模语义和建筑级别实例分割的神经辐射场方法。我们首先引入了一种适应尺度的语义标签融合策略，通过合并来自不同高度预测的标签来增强不同大小的对象的分割，然后基于 3D 场景表示引入了一种新颖的交叉视图实例标签分组策略，以减轻 2D 实例标签中的多视图不一致性问题。此外，我们利用多视图重构深度先验来改善重建辐射场的几何质量，从而实现了增强的分割结果。在多个真实世界的城市规模数据集上的实验表明我们的方法优于现有方法，突显了其有效性。
neural radiance fieldsemantic segmentationinstance segmentationaerial imagesmulti-view inconsistency
发现论文，激发创造
  • 从航空图像预测地面场景布局

    本文介绍了一种从航拍图像中提取语义特征的新策略，同时展示了通过该策略在地址估计和语义分割任务上的性能优于两种基线方法。

    Dec, 2016

  • 从在线地图学习航空图像分割

    本文研究了使用卫星图像语义分割实现自动生成地图的问题。通过使用不同的训练数据集进行对比分析，文章指出采用大规模公开标注来取代部分手动标注可以显著降低成本且不影响语义分割效果

    Jul, 2017

  • 高度和语义的航空影像多任务学习

    本文研究了利用神经网络框架综合分析航空或卫星图像，并展示了其在多任务学习和模型预测不确定性方面的优势。

    Nov, 2019

  • 基于深度神经网络的建筑轮廓分割多任务学习

    本文研究了高分辨率遥感卫星图像中像素级预测方法的挑战，提出了一种新的级联多任务损失来保留语义分割边界。结果表明，不需要额外的后处理步骤，我们的方法在 Inria 航空图像标注数据集上优于现有技术 8.3％。

    Sep, 2017

  • 通过三维到二维标签转移实现街景的语义实例注释

    该研究论文提出了一种将语义实例标签从二维提升到三维的方法，通过从解析来自立体或激光数据的重建场景的 2D 标签信息，转化到图像域，可更高效地完成像素级别的语义注释与更准确，基于时间的标签。

    Nov, 2015

  • 全景城市场景分割的 3D 到 2D 标签转移的 Panoptic NeRF

    本研究提出了一种新的 3D 到 2D 标签转换方法 - Panoptic NeRF 用于语义分割和实例分割任务，它利用了现有数据集中 2D 语义线索和粗糙 3D 标注信息的统一，实现了多视角一致的二维标签生成，可以提高多视角下的几何语义渲染准确性，消除粗糙 3D 标注的标签歧义和 2D 语义标注的噪声，与其他标签转移方法相比，在 KITTI-360 数据集的城市场景中，Panoptic NeRF 在准确度和多视角一致性方面表现更好。

    Mar, 2022

  • 深度跨领域建筑物提取，用于倾斜航空图像的选择性深度估计

    使用卷积神经网络进行实时建筑物提取，提出了一种允许从倾斜航空影像中进行多视图深度估计的算法，结合 Faster R-CNN，可以从高空俯瞰图像中选择性地重建建筑物。

    Apr, 2018

  • 基于神经渲染的自动驾驶城市场景重建

    利用多模态数据结合深度学习模型进行密集三维重建，从而提高自动驾驶中的标注验证、数据扩充、缺失 LiDAR 系统的地面真值注释以及自动标记准确性的应用效果。

    Feb, 2024

  • 一种面向空中场景解释和地理定位的多阶段多任务神经网络

    本文提出了一种新的多任务、多阶段神经网络，能够在单次前向传递中同时处理语义分割和基于视觉的航拍图像地理定位两个问题，并在卫星图像中实现商用 GPS 级别的本地化精度以及在 Inria Aerial Image Labeling 数据集和 Massachusetts Buildings 数据集上达到领先水平的分割效果。

    Apr, 2018

  • 语义感知网络用于航空到地面图像合成

    通过引入结构对齐和语义感知的方法，本文提出了一种新的框架来解决航空图像到地面图像合成的挑战，通过将航空图像的特征与地面布局对齐，实现了复杂地理结构的重建，同时通过引入预训练分割网络，通过计算不同类别的损失并平衡它们，实现了跨类别综合样式的生成。通过与现有方法的比较和削减研究，本方法在质量和数量上显示出了有效性。

    Aug, 2023