May, 2024

利用文本转图像合成数据进行鲁棒性空中图像灾害评估

PDF
TL;DR利用文本到图像生成模型在创建大规模合成监督时，我们提出了一种简单高效的方法用于来自空中图像的损害评估。我们的方法通过将生成模型的文本引导的基于掩码的图像编辑能力与训练模型的两阶段方法结合，从而在缺乏手动标注数据的领域中提高了模型的域鲁棒性。我们验证了我们提出的框架在跨地理领域转移设置中的有效性，并在单源和多源设置中与仅有源的基线相比取得了显着的改进。
damage assessmentaerial imagestext-to-image generative modelsdomain robustnesspost-disaster humanitarian assistance
发现论文，激发创造
  • 大规模 xBD 卫星图像基准数据集中用于建筑物损伤评估的自监督学习

    本文针对自然灾害后修复领域中建筑物损伤图像处理问题，借助自监督孪生网络，提出了一种无需大量标注数据的方案，并在 xBD 数据集上得到了相对于基础模型和常用方法更好的表现，验证了自监督学习在建筑损伤图像识别方面的潜力。

    May, 2022

  • 野外场景文字检测的合成到真实无监督域自适应

    研究了合成数据对实际数据的转化问题，并提出了基于对抗文本实例对齐与文本自训练的技术来解决领域差异，以提高场景文本检测的性能。

    Sep, 2020

  • 远程感知图像中的数据增强和适应的条件生成对抗网络

    使用 GAN 将给定的标记遥感图像拓展成更大的数据集并评测其对于物体检测任务的性能提升。

    Aug, 2019

  • 利用深度学习文本到图像模型生成合成卫星图像 - 技术挑战及对监测和验证的影响

    通过使用新颖的深度学习模型，本研究探索了使用条件机制创建合成卫星图像的挑战，通过真实性和最先进的度量方法评估了结果，并研究了合成数据在遥感中缓解数据不足的潜力，讨论了合成卫星图像在监测和验证方面的意义。

    Apr, 2024

  • 气候适应：从不平衡卫星数据中可靠地预测

    本文研究了如何处理在应用深度学习技术识别危机管理时，数据高度不平衡的情况，探讨了多种技术并提出了一套综合方法，旨在提高少数类别分类的性能和模型可靠性。

    Apr, 2020

  • 基于 3D 合成数据增强的海上救援热红外遥感目标检测系统

    本文提出了一个利用深度学习和数据增强的热红外（TIR）远程目标检测系统，该系统针对海上救援进行研究。通过使用 TIR 相机（FLIR）建立了一个自采集的 TIR 数据集，其中包括多个模拟人类救援情境的场景。此外，为了解决数据集稀缺和改善模型的鲁棒性，还收集了一个合成数据集，该数据集是从一个 3D 游戏（ARMA3）中获取的。然而，合成 TIR 图像与真实 TIR 图像之间存在显著的领域差距。因此，为了解决这个问题，本文建议了一种基于生成模型的从 3D 游戏到真实情况下的目标 - 背景分离领域自适应算法。此外，还提出了一个带有固定权重内核的分割网络，以改善信噪比（SNR）并提供弱注意力，因为远程 TIR 目标本质上具有不清晰的边界。实验结果表明，用包含翻译合成和真实 TIR 数据的增强数据训练的网络在性能上明显优于只使用真实 TIR 数据进行训练的网络。此外，所提出的分割模型超越了最先进的分割方法的性能。

    Oct, 2023

  • FloodNet：一个用于洪水后场景理解的高分辨率航拍图像数据集

    本文提出了一种高分辨率无人机图像数据集 FloodNet，用于帮助解决自然灾害后的损害评估问题，数据集提出了 “洪水下的损害” 这个问题，并对其进行了像素级的语义分割标注，提出一些深度学习算法用于解决这些挑战，并比较了该数据集上多个图像任务算法的性能表现。

    Dec, 2020

  • 超越生成：利用文本至图像模型进行对象检测和分割

    通过使用文本到图像合成框架（如 DALL-E、稳定扩散等），我们提出了一种新的范式，以自动产生具有准确标签的训练数据。该方法将训练数据生成分解为前景物体生成和上下文一致的背景生成部分，并演示了在五个物体检测和分割数据集上使用我们方法生成的合成数据用于训练可以产生与使用真实数据训练的模型性能相媲美甚至更好的目标检测器。

    Sep, 2023

  • RescueNet：卫星图像中建筑物分割和损伤评估的联合方法

    RescueNet 是一个集成模型，采用了局部相关的二进制交叉熵损失函数来同时分割建筑和评估破坏水平，该模型可以进行端到端的训练，并获得比现有方法更好的性能，它可以在各种地理区域和灾难类型下实现通用。

    Apr, 2020

  • 社交媒体图像的损伤定位与量化

    本文提出了一种基于卷积神经网络和类别激活映射的新方法，用于在社交媒体图像中定位灾害损失并量化其程度，从而提供一种相对于昂贵的地理信息系统方法更为经济有效的、基于社交网络图像的灾后损失评估方案。

    Jun, 2018