Jun, 2024

SynRS3D: 通过单目遥感影像进行全球三维语义理解的合成数据集

PDF
TL;DR从单视图的高分辨率遥感图像实现全球语义三维理解是地球观测领域的关键问题之一。本论文介绍了专门为地球观测领域开发的合成数据生成流程，并提出了全球最大的合成卫星影像三维数据集 SynRS3D，其中包括 69667 幅高分辨率光学图像，覆盖了全球六个不同的城市风格和八种地表覆盖类型，还提供了精确的高度信息和建筑物变化遮罩。为提高数据集的效用，我们还开发了一种新颖的多任务无监督域自适应方法 RS3DAda，结合了合成数据集，在土地覆盖制图和高度估计任务中实现了从合成到真实场景的转换，并最终实现了基于合成数据的全球单目三维语义理解。在各种真实世界数据集上进行的大量实验证明了我们合成数据集和提出的 RS3DAda 方法的适应性和有效性。SynRS3D 数据集和相关代码将会提供。
global semantic 3d understandingremote sensing imagerysynthetic data generationunsupervised domain adaptationland cover mapping
发现论文，激发创造
  • SyntheWorld: 用于土地覆盖制图和建筑变化检测的大规模合成数据集

    SyntheWorld 是一种无与伦比的合成数据集，具有高质量、多样性和规模，包含 40,000 张具有亚米级像素的图像和八个类别的细粒度土地覆盖注释，还提供了 40,000 对双时间图像对和建筑变化注释用于建筑变化检测任务，我们在多个基准遥感数据集上进行了实验，验证了 SyntheWorld 的有效性并调研了合成数据在何种情况下具有优势，我们将发布 SyntheWorld 以促进遥感图像处理研究。

    Sep, 2023

  • R3DS：用于全景场景理解的现实链接 3D 场景

    我们介绍了与 Matterport3D 全景相应的合成 3D 场景数据集 Reality-linked 3D Scenes (R3DS)。与以往工作相比，R3DS 具有更完整和更密集的场景，其中的对象与全景中的真实观察结果相关联。R3DS 还提供了对象的支持层次结构和匹配的对象集（例如，围绕餐桌的相同椅子）。总体而言，R3DS 包含了 19K 个由 100 多个对象类别中的 3,784 个不同 CAD 模型表示的对象。我们展示了 R3DS 在全景场景理解任务上的有效性。我们发现：1）在 R3DS 上的训练可以获得更好的泛化性能；2）在 R3DS 上进行的支持关系预测相比启发式计算的支持改善了性能；3）R3DS 为未来的全景场景理解研究提供了具有挑战性的基准。

    Mar, 2024

  • SEN12MS：一份经过整理的、包含地理参考多光谱 Sentinel-1/2 图像数据集，为深度学习与数据融合提供支持

    利用 Copernicus 计划（ESA）的 Sentinel 卫星和 Google Earth Engine 的云计算设施，我们提供一个包括 180,662 个样本的数据集，该数据集由双极化合成孔径雷达（SAR）图像，多光谱 Sentinel-2 图像和 MODIS 地表覆盖映射的三元组组成，拥有 10 m 的地面采样距离，并覆盖所有有人居住的大陆和所有气象季节。期望该数据支持社区开发面向场景分类或地表映射的语义分割等常见任务的深度学习算法。

    Jun, 2019

  • Structured3D: 用于结构化三维建模的大型真实照片数据集

    本文介绍了一种新的人工合成数据集 Structured3D，为各种结构化三维建模任务提供大规模照片级真实感图像和丰富的三维结构注释，此外并利用该数据集与真实图像来训练深度神经网络，显著提高了房间布局估计性能。

    Aug, 2019

  • 使用合成数据理解现实世界室内场景的 SceneNet

    本文研究场景理解问题，通过使用计算机图形学生成合成 3D 场景，以解决手动收集大量数据问题，从而避免了收集数据的麻烦和昂贵成本。通过使用深度数据作为输入仅使用 RGB-D 系统的深度数据，我们在 NYUv2 数据集上的表现相当于最先进的 RGBD 系统，并在 SUN RGB-D 数据集上设置了基准。文章还探讨了生成合成图像或视频数据，以及分析影响性能增益的不同因素。

    Nov, 2015

  • InteriorNet: 大规模多传感器照片真实室内场景数据集

    本研究提供了一份可扩展性强、真实感更强、规模更大、变异性更强、且在训练和评估深度学习方法、基准测试同时定位和映射（SLAM）方面有更广泛用途的数据集，以支持计算机视觉领域的研究。我们使用数百万个专业室内设计和制作级家具资产进行高分辨率和高帧率视频序列渲染，并支持各种摄像头类型以及惯性测量。同时，我们展示了稀疏和密集 SLAM 算法的基准测试结果。

    Sep, 2018

  • MLRSNet：用于语义场景理解的多标签高空间分辨率遥感数据集

    本研究构建了一个名为 MLRSNet 的多标签高空间分辨率遥感数据集，用于深度学习的语义场景理解任务。它包含 109,161 个样本，涵盖 46 种场景类别，是一个重要的未来研究基准，并填补了现有的多标签图像研究的空白。

    Oct, 2020

  • 室内场景理解中的 2D-3D - 语义数据联合

    该文介绍了一个大规模室内空间数据集，其中包含 2D、2.5D 和 3D 接口的多种相互注册的模态，并具有实例级别的语义和几何注释。该数据集使得可以开发联合和跨模态学习模型，以及可能利用大规模室内空间中存在的规律性的无监督方法。

    Feb, 2017

  • ScanNet: 室内场景丰富注释的 3D 重建

    本文介绍了 ScanNet 数据集的构建，该数据集包含 2.5M 的视图和 1513 个场景，提供了 3D 摄像机姿势、表面重构和语义分割等信息，并表明使用此数据集可以在 3D 场景理解任务中实现最先进的性能。

    Feb, 2017

  • M3LEO：一种多模态、多标签的地球观测数据集集成干涉合成孔径雷达和 RGB 数据

    卫星遥感技术革命性地改变了我们在迅速发展的世界中解决全球挑战的方式。每天都会通过卫星传感器产生大量的地球观测（EO）数据，但是将这些大规模数据集进行处理以供机器学习流程使用在技术和计算方面具有挑战性。尤其是不同类型的 EO 数据通常托管在各种平台上，在 Python 预处理工具的可用性方面存在差异。此外，数据源和数据分割的空间对齐可能对初学者用户构成重大技术障碍。我们引入了 M3LEO，这是一个多模态、多标签的 EO 数据集，包括了来自 Sentinel-1 的极化、干涉和相干 SAR 数据，以及 Sentinel-2 的 RGB 图像和一套用于模型评估的标签任务。M3LEO 跨越 17.5TB，其中包含了来自六个地理区域的约 1000 万数据片段。该数据集由灵活的 PyTorch Lightning 框架支持，并使用 Hydra 进行配置管理。我们提供了一些工具，以便将任何在流行平台（如 Google Earth Engine）上可用的数据集与我们的框架整合。初步实验验证了我们的数据和框架的实用性，显示出 SAR 图像包含了从 RGB 数据中无法提取的信息。数据可在 huggingface.co/M3LEO 获得，代码可在 github.com/spaceml-org/M3LEO 获取。

    Jun, 2024