面向语义图像分割的领域自适应和泛化网络结构及训练策略
本研究基于最新的神经网络架构研究了无监督域适应(UDA)领域,在语义分割方面揭示了 Transformers 的潜力。基于研究结果,本研究提出了一种新的 UDA 方法 DAFormer,并且通过三种简单却至关重要的训练策略,DAFormer 的实现在 GTA-to-Cityscapes 和 Synthia-to-Cityscapes 语义分割任务中取得了比目前最先进方法更好的表现。
Nov, 2021
本文提出了一种多分辨率训练方法 HRDA,结合小的高分辨率裁剪和大的低分辨率裁剪,以及学习到的比例关注,以保留精细的分割细节和捕获远程、域鲁棒性的上下文信息,从而显著提高了语义分割的 UDA 性能,并使其在 GTA 到 Cityscapes 和 Synthia 到 Cityscapes 的 mIoU 上分别达到了 73.8 和 65.8。
Apr, 2022
本研究系统地研究了简单、基于规则的图像增强方法(如模糊、噪声、色彩抖动等)对深度神经网络(DNNs)的领域内外泛化能力。 实验结果表明,对多个不同的图像增强进行组合优于单独使用单个图像增强,并且与最先进的领域泛化方法相比表现相当。
Apr, 2023
该工作提出了一种统一的深度感知无监督域自适应框架,通过在源领域中利用密集深度的多种补充方式,最大限度地利用了这种特权信息来训练 UDA 模型,从而提高了目标领域上训练的语义分割模型的性能,并在不同的具有挑战性的 synthetic-2-real 基准测试上实现了最先进的性能。
Apr, 2019
基于跨领域语义分割的遥感图像的无监督领域自适应(UDA)技术已经在地球科学的深度学习应用中有了显著的进展。最近,Transformer 模型在 RS-UDA 任务中得到了成功应用。然而,现有的 UDA 方法主要关注高级特征空间中的领域对齐,对于 RS 图像的语义分割任务,同时保留跨领域的本地空间细节和全局语境语义仍然具有挑战性。为了解决这些问题,我们提出了新颖的高 / 低频分解(HLFD)技术,以指导跨领域语义分割中的表示对齐。具体而言,HLFD 试图在域对齐之前将特征图分解为高频和低频分量,为分别的子空间中进行域对齐。其次,为了进一步促进分解特征的对齐,我们提出了全局局部生成对抗网络(GLGAN),通过利用全局局部变压器块(GLTB)在领域之间学习域不变的细节和语义特征。通过整合 HLFD 技术和 GLGAN,我们开发了一种名为 FD-GLGAN 的新型 UDA 框架,以提高语义分割模型的跨领域可传递性和泛化能力。在 ISPRS Potsdam 和 ISPRS Vaihingen 这两个优质分辨率基准数据集上进行的大量实验凸显了所提方法相对于最先进的 UDA 方法的有效性和优越性。本文的源代码将在此 https URL 进行访问。
Apr, 2024
本研究通过在源域和目标域约束特征,提出一种简单高效的无监督域自适应方法,即使用无领域先验 (DAP) 正则化交叉域表示学习,这种方法在将综合数据转移到真实数据的标准评估协议中,表现出优秀的语义分割准确性,对于提高模型的分类表现具有指导意义。
Apr, 2022
通过生成对抗网络生成的合成数据和应用 DA 方法到 DG 场景的协议,作者提出了两种方法来解决领域泛化挑战,并在四个跨领域基准数据集上进行了大量实验。实验结果表明,所提出的模型在 DG 方面优于当前最先进的方法。
Dec, 2018
本文提出了一种新的数据有效的多域医学图像分割的深度无监督领域自适应方法,该方法结合了基于变分自编码器的特征先验匹配和域对抗训练,以学习共享的域不变潜在空间进行分割。在公共多模态心脏图像分割数据集上评估,在仅使用一个未标记的 3D CT 扫描的情况下,该方法在相同的设定下胜过现有的技术。最后,我们对先验匹配和域对抗训练进行了消融研究,以阐明所提出方法的理论基础。
Jul, 2019
该研究论文提出了一种混合训练策略和新颖的双域图像融合策略,有效利用原始图像、变换图像和中间域信息,并提出了一种伪标签区域特定权重策略,以增强伪标签的精确性。ISPRS Vaihingen 和 Potsdam 数据集上进行的广泛基准实验和消融研究证实了我们方法的有效性。
Mar, 2024
通过使用 SynthDA 模块、Equiangular Tight Frame (ETF) 分类器以及噪声校正等方法,我们的研究论文在四个不同的领域适应性基准测试上都取得了显著的改进。
Aug, 2023