Feb, 2024

一种用于零样本增量学习的新型空间频域网络

PDF
TL;DR本文提出了一种新颖的基于空间频率领域网络（SFDNet）的零样本增量学习方法，其中包含了空间频率特征提取模块（SFFE）和注意力特征对齐模块（AFA），通过从样本图像领域捕捉重要信息，提高零样本转换分类增量算法的性能。该网络能够有效地提取图像的空间频率特征表示，提高图像分类的准确性，并从根本上缓解了灾难性遗忘。针对 CUB 200-2011 和 CIFAR100 数据集的广泛实验表明，我们提出的算法胜过了最先进的增量学习算法。
zero-shot incremental learningcatastrophic forgettingspatial-frequency domain networkspatial-frequency feature extractionattention feature alignment
发现论文，激发创造
  • SFFNet：基于小波的遥感分割的空间和频域融合网络

    为了充分利用空间信息进行分割并解决遥感图像中灰度变化显著区域的挑战，我们提出了 SFFNet（Spatial and Frequency Domain Fusion Network）框架。该框架采用两阶段网络设计：第一阶段使用空间方法提取特征，以获取具有足够空间细节和语义信息的特征；第二阶段在空间和频域中映射这些特征。在频域映射中，我们引入了小波变换特征分解器（WTFD）结构，该结构使用 Haar 小波变换将特征分解为低频和高频成分，并将其与空间特征进行融合。为了弥合频域和空域特征之间的语义差距，并便于进行显著特征选择以促进来自不同表示域的特征组合，我们设计了多尺度双重表示对齐滤波器（MDAF）。该结构利用多尺度卷积和双交叉注意力机制。全面的实验结果表明，与现有方法相比，SFFNet 在 mIoU 方面表现出卓越性能，分别达到 84.80% 和 87.73%。

    May, 2024

  • 广义零样本学习的双特征增强网络

    利用双特征增强网络（DFAN）解决零样本学习中存在的问题，该网络包括对视觉特征和语义特征进行增强的两个模块，借助注意力机制，通过学习属性特征以及解决局部与全局特征之间的冲突来提高属性表示。

    Sep, 2023

  • 医学图像分割的空间频率双重逐步注意力网络

    我们提出了 SF-UNet，这是一个具有空间频率双域注意力网络的模型，用于准确的医学图像分割，并在三个公共数据集上证明其有效性。

    Jun, 2024

  • 学会更好地看到看不见的：用于增量零样本故障诊断的宽深混合抗遗忘框架

    零 - shot 故障诊断通过预测人类专家标记的故障属性，能够识别未见过的故障。为了解决现有的零 - shot 故障诊断范式无法从工业场景中不断变化的训练数据流中学习的问题，我们首次提出了增量零 - shot 故障诊断范式 (IZSFD)，该范式同时结合了传统的零 - shot 故障诊断和广义零 - shot 故障诊断的特点。为了实现 IZSFD，我们提出了一种广深混合反遗忘框架 (BDMAFF)，旨在从新的故障类别和属性中学习。通过深度生成模型建立特征记忆，确保历史类别的生成质量得到监督和维持；通过诊断模型从生成模型生成的样本辅助诊断未见过的故障；通过一种受到广义学习系统启发的诊断模型建立属性原型记忆。与传统的增量学习算法不同，BDMAFF 引入了一种基于记忆驱动的迭代更新策略用于诊断模型，使模型能够学习新的故障和属性而无需存储所有历史训练样本。我们通过实际的液压系统和 Tennessee-Eastman 基准过程验证了所提出方法的有效性。

    Mar, 2024

  • 基于空域频域相互作用的双通路耦合图像去雨网络

    我们开发了一种创新的双路径耦合去雨网络（DPCNet），通过空间特征提取块（SFEBlock）和频率特征提取块（FFEBlock）在空间和频率域中整合信息，并引入了一种有效的自适应融合模块（AFM）来进行双通路径特征聚合。该方法在六个公共去雨基准和下游视觉任务上进行了大量实验证明，不仅超越了现有的最先进去雨方法，而且在下游视觉任务中具有出色的鲁棒性和视觉效果。

    Feb, 2024

  • 低光遥感图像增强的空域频率二重域特征融合网络

    提出了一种用于低光遥感图像增强的双域特征融合网络 (DFFN)，通过将振幅信息与相位信息分别学习来实现低光增强任务，同时通过信息融合亲和块在不同阶段和尺度上组合不同的数据，通过广泛的评估，证明该方法优于现有最先进方法。

    Apr, 2024

  • 具视觉注意力的拼接定位网络：多领域特征提取器和多感受野上采样器

    本研究提出了一种名为 “具有视觉关注的多领域特征提取器和多接受域上采样器的图像拼接定位网络” 的新颖方法，它包含了一种独特的 “具有视觉关注的多领域特征提取器”（VA-MDFE），用于从 RGB、边缘和深度领域提取注意力特征。接下来，负责融合和下采样多领域特征的是 “具有视觉关注的下采样器”（VA-DS）。最后，一种新颖的 “具有视觉关注的多接受域上采样器”（VA-MRFU）模块通过专注于不同的信息尺度，使用基于接受域的多个卷积方法来上采样注意力特征。实验结果在公共基准数据集 CASIA v2.0 上证明了该模型的有效性。相较于现有的最先进方法，它在 IoU 得分达到 0.851，像素 F1 得分达到 0.9195，像素 AUC 得分达到 0.8989，表现优越。

    Jan, 2024

  • 零样本基于草图的图像检索的渐进领域无关特征分解网络

    本文提出了一种逐步领域无关特征分解（PDFD）网络，用于零样本基于草图的图像检索（ZS-SBIR），通过将视觉特征分解为域特征和语义特征来维护语义知识的完整性，并使语义特征投影到公共空间，最终的检索特征能够捕获干净且完整的语义信息。实验证明了 PDFD 与现有方法相比在 ZS-SBIR 中具有优越性。

    Mar, 2020

  • 高层语义特征在少样本无监督领域适应中的重要性

    本文提出了一种新的针对少样本无监督域自适应（FS-UDA）的任务特定语义特征学习方法（TSECS），以提高图像分类的效果，包括跨域自我训练策略和最小化源和目标域之间高级特征分布的 KL 散度。在 DomainNet 数据集上的实验结果表明，该方法在 FS-UDA 领域取得了明显的性能优势（即 10%）。

    Jan, 2023

  • 基于空间频率融合的双域多曝光图像融合网络

    通过空频积分框架 (Spatial-Frequency Integration Framework) 提出了一种新颖的多曝光图像融合方法 (MEF-SFI)，通过有效利用频率域的整体光照建模能力，结合空间和频率路径的深度傅里叶变换方法，以及双域损失函数的综合作用，实现了对输入图像的融合，取得了与最先进的多曝光图像融合方法相媲美的视觉效果。

    Dec, 2023