Jun, 2020

MSNet：一种用于航拍视频中自然灾害损毁评估的多级实例分割网络

PDF
TL;DR本文研究了使用航拍视频高效评估自然灾害（如飓风、洪水或火灾）造成的建筑损坏问题。我们提出了一个包含用户生成的航拍视频的新数据集，使用实例级建筑损伤掩模进行注释，从而提供了首个定量评估使用航拍视频评估建筑损害模型的基准。同时我们提出了一种名为 MSNet 的新型区域提议网络设计和无监督得分校准网络用于置信度得分校准的模型，该模型在边框和掩模支路上均能得到最新颖的方法和最优的结果。我们将公开我们的数据集、模型和代码。
natural disastersaerial video analysisbuilding damage assessmentmsnet modelquantitative evaluation
发现论文，激发创造
  • DeepDamageNet: 使用卫星图像的多灾害建筑损坏分割和分类的两步深度学习模型

    通过深度学习模型，在 xView2 挑战中取得了 0.66 的 F1 分数，超过 0.28 的挑战基准分数，发现不同损伤等级和不同灾害类型之间的视觉相似性和损害分布差异导致建筑物损伤分类是一项困难任务，可能需要具备关于灾害损害的概率先验估计，以获得准确的预测。

    May, 2024

  • RescueNet：卫星图像中建筑物分割和损伤评估的联合方法

    RescueNet 是一个集成模型，采用了局部相关的二进制交叉熵损失函数来同时分割建筑和评估破坏水平，该模型可以进行端到端的训练，并获得比现有方法更好的性能，它可以在各种地理区域和灾难类型下实现通用。

    Apr, 2020

  • 基于多视角深度学习的可靠后灾害损伤分类

    探索使用多视角图像和 AI 实现可靠的灾后建筑损伤分类方法，提出基于多视角卷积神经网络结构的损伤预测模型可以提高灾后建筑损伤等级的准确度和可靠性。

    Aug, 2022

  • AB2CD：建筑气候损害分类和检测的人工智能

    通过使用深度学习技术来精确评估自然灾害中建筑损害，在利用遥感数据的背景下进行实现。我们探索使用来自全球各地的多样化灾难事件的 xBD 数据集作为主要焦点，以评估深度学习模型。我们解决了推广到新灾难和地区的挑战，同时考虑了自然灾害数据中固有的低质量和噪声标签的影响。此外，我们的研究定量地证明了对于有效的建筑损害检测，最低的卫星图像分辨率为 3 米，对于使用对称和非对称分辨率摄动分析的分类低于 1 米。为了实现对建筑损害检测和分类的稳健准确评估，我们评估了具有残差、压缩和激活以及双路径网络主干的不同深度学习模型，以及集成技术。总体而言，F-1 得分为 0.812 的 U-Net Siamese 网络集成在 xView2 挑战基准测试中表现最好。此外，我们还将对所有灾害进行训练的通用模型与洪水专家模型进行评估，并调查了在 Ahr Valley 的领域数据中的事件间通用性差距和分布。我们的研究发现展示了先进人工智能解决方案在增强气候变化引发的极端天气事件（如洪水和飓风）影响评估方面的潜力和局限性。这些见解对于在不断升级的气候挑战面前的灾害影响评估具有重要意义。

    Sep, 2023

  • 利用街景图像和结构化数据进行飓风后建筑损坏评估：一种多模式深度学习方法

    本研究提出了一种名为多模态 Swin Transformer (MMST) 的新型多模态（图像和结构化数据）方法，用于飓风后建筑损害分类。通过在美国佛罗里达州收集的 2022 年 Ian 飓风数据对所提出的 MMST 进行实证训练和评估，结果表明 MMST 的准确率为 92.67%，较 Visual Geometry Group 16（VGG-16）提高了 7.71% 的准确性。街景图像数据、建筑价值、建筑年龄和风速是损害级别分类中最重要的预测因素。所提出的 MMST 可用于快速损害评估并指导未来飓风中的侦察工作。

    Apr, 2024

  • Multi$^{3}$Net：多尺度、多传感器和多时相卫星图像融合分割洪水淹没建筑物

    本研究提出了一个基于卷积神经网络可快速分割洪水淹没建筑的新方法，并结合多分辨率、多传感器、多时相卫星图像，本方法迅速生成卫星图像洪水地图，有助于应对洪水事件的早期响应；同时，通过结合多时相信息，本方法也能用于快速而精确的灾后伤害评估，并可帮助政府更好地协调中长期的财政援助计划。我们还将我们基于编码器 - 解码器结构的多流视频数据融合方法与其他现有研究进行了比较，并证明了它的性能更佳。此外，我们还发布了一个全面预处理和标记的多分辨率和多时相卫星图像灾害数据集以及我们的源代码。

    Dec, 2018

  • FloodNet：一个用于洪水后场景理解的高分辨率航拍图像数据集

    本文提出了一种高分辨率无人机图像数据集 FloodNet，用于帮助解决自然灾害后的损害评估问题，数据集提出了 “洪水下的损害” 这个问题，并对其进行了像素级的语义分割标注，提出一些深度学习算法用于解决这些挑战，并比较了该数据集上多个图像任务算法的性能表现。

    Dec, 2020

  • 大规模 xBD 卫星图像基准数据集中用于建筑物损伤评估的自监督学习

    本文针对自然灾害后修复领域中建筑物损伤图像处理问题，借助自监督孪生网络，提出了一种无需大量标注数据的方案，并在 xBD 数据集上得到了相对于基础模型和常用方法更好的表现，验证了自监督学习在建筑损伤图像识别方面的潜力。

    May, 2022

  • 基于深度神经网络的建筑轮廓分割多任务学习

    本文研究了高分辨率遥感卫星图像中像素级预测方法的挑战，提出了一种新的级联多任务损失来保留语义分割边界。结果表明，不需要额外的后处理步骤，我们的方法在 Inria 航空图像标注数据集上优于现有技术 8.3％。

    Sep, 2017

  • MSN：视频实例分割的高效在线遮蔽选择网络

    本文提出一种新的视频实例分割方法，利用基于 patch 的卷积神经网络设计的掩模选择网络，以及前向和后向推理的时间一致性策略来提高分割结果的准确性，从而实现了对视频中对象的跟踪和分割。该方法在 2021 年 YouTube-VIS 挑战赛中获得了 49.1mAP 的得分，并获得了第三名的成绩。

    Jun, 2021