地球观测中的数据增强:扩散模型方法
通过使用图像转图像的方法、以及预训练的文本到图像扩散模型将其参数化,解决了数据扩增过程中具有高级语义标注的动物种类等属性缺乏多样性的问题,并在少样本情境和杂草识别任务中得到实际应用。
Feb, 2023
利用扩散模型在地球观测数据方面带来的先进人工智能技术的进展,在新的情境中将具有很高的潜力。论文通过介绍一系列生成模型,并提出和分析三个应用案例,展示了基于扩散方法在卫星图像数据领域的潜力,即云去除和图像修复、用于变化检测任务的数据集生成以及城市重新规划。
Nov, 2023
本文系统评估了扩散模型生成图像的现有方法,并研究了新的扩展方式以评估它们对数据增强的益处。作者发现,将扩散模型个性化到目标数据的方法优于简单的提示策略,但使用扩散模型的训练数据,通过简单的最近邻检索程序,直接提高下游性能。此项研究揭示了扩散模型在数据增强方面的局限性,同时也突显了其在生成新训练数据方面的潜力,以提高在简单的下游视觉任务中的性能。
Apr, 2023
本文介绍了地球观测所面临的机器学习等技术对于从原始数据到可用信息转化的必要工具和方法,并探讨了这些发展的挑战及其影响,包括计算机视觉、机器学习、高级处理和计算、以知识为基础的人工智能、可解释的人工智能和因果推断、物理感知模型、以用户为中心的方法以及与大规模使用机器学习技术相关的伦理和社会问题的讨论。
May, 2023
该论文提出了一个新的基于扩散模型的分类导向框架 DreamDA,通过考虑训练图像中的原始数据作为种子并扰动其反扩散过程,DreamDA 生成符合原始数据分布的多样样本,并引入自训练范式生成伪标签和使用合成数据训练分类器,在四个任务和五个数据集上进行的广泛实验证明了 DreamDA 在合成高质量多样的图像并生成准确标签方面的有效性。
Mar, 2024
本研究提出了一种基于多模态数据增强技术的图像字幕生成方法,旨在解决图像字幕对齐困难的问题。实验证明,本方法可以通过高质量生成图像 - 字幕对来扩充训练数据集,从而提高模型的训练效率和预测准确性。
May, 2023
地球观测应用中使用机器学习模型来处理复杂和异构的数据源,但是对于数据源的持久性可用性存在一种常见的假设。本研究评估了训练模型中缺失时间性和静态的观测数据源对于四个数据集中分类和回归任务的影响,并比较了不同方法的预测质量,发现其中一些方法对于缺失数据自然更具鲁棒性。特别是,集成策略实现了高达 100%的预测稳健性。我们发现,在回归任务中缺失情景比分类任务更具挑战性。最后,我们发现当光学视图单独缺失时,它是最关键的视图。
Mar, 2024
我们在地球观测任务中研究使用生成图像扩散来解决标注数据稀缺的问题,并发现生成的样本在提高卫星语义分割的定量性能方面取得了显著的改进。
Mar, 2024
DiffusionSat 是迄今为止最大的生成基础模型,使用公开可获得的大型高分辨率遥感数据集进行训练,实现对多个生成任务的解决,包括时间生成、多光谱输入的超分辨率和修复。同时它在卫星图像生成方面优于以前的最先进方法,也是第一个针对卫星图像的大规模生成基础模型。
Dec, 2023