Feb, 2024

HSONet:一种基于孪生前景关联驱动之难样本优化网络的高分辨率遥感图像变化检测方法

TL;DR在后期训练阶段,模型对于变化的判定能力的进一步提升依赖于变化检测模型学习难例的效果,这里有两个额外的挑战:(1) 变化标签有限且主要指向前景目标,而难例样本主要存在于背景中,导致损失函数优化更关注前景目标并忽略背景的难例,也就是所谓的不平衡;(2) 复杂情况,如光影、目标遮挡和季节变化,会导致难例样本的出现,而在没有监督和场景信息的情况下,模型很难直接学习难例样本以准确获取变化信息的特征表示,也就是所谓的缺失性。我们提出了一种基于 Siamese 前景关联驱动的难例样本优化网络 (HSONet)。为了解决不平衡问题,我们提出了一种平衡优化损失函数,通过损失值的分布确定难例样本,并在损失项中引入动态权重,随着训练的进行逐渐将损失的优化焦点由前景转移到背景的难例上。为了解决缺失性问题,我们借助场景背景理解难例样本,提出了场景 - 前景关联模块,利用潜在的遥感空间场景信息对前景中的目标与相关背景之间的关联进行建模,获取场景嵌入,并将这些信息应用于难例样本的特征增强。在四个公开数据集上的实验证明,HSONet 在难例样本检测方面表现优于当前最先进的变化检测方法。