IJCAIMay, 2024

学习用于高效图像去雨的脉冲神经网络

PDF
TL;DR近期，我们提出了一种高效的 Spiking Deraining 网络 ESDNet，通过引入注意力权重来调整数据驱动的脉冲响应，以减轻离散二值激活引起的信息损失，从而有效地检测和分析雨痕的特征，并为去雨过程提供更好的指导，实现高质量的图像重构。
spiking neural networksefficient spiking deraining networkimage derainingspike signalsrain streaks
发现论文，激发创造
  • 递归挤压 - 激励上下文聚合网络用于单图像去雨

    本研究提出了一种基于深度卷积和循环神经网络的新型深度网络架构，用于单幅图像去雨。实验表明，在多个评估指标下，该方法优于现有的技术。

    Jul, 2018

  • 视频去雨的增强时空交互学习：更快更好的框架

    本文提出了一种新的端到端视频去雨水框架 ——Enhanced Spatio-Temporal Interaction Network（ESTINet）, 使用深度残差网络和卷积长短时记忆，可以在计算资源开销极小的情况下捕捉连续帧之间的空间特征和时间相关性，既能提高视频去雨效果又能加速计算，实验证明 ESTINet 比同类算法更快速、效果更好。

    Mar, 2021

  • SDNet：使用 Swin 的多分支单图像去雨方法

    本研究提出了一种使用 Swin-transformer 模型实现去雨任务的基本模块改进方法，并设计了一个三分支模型，并提出了一个新的数据集 Rain3000 来验证模型的性能和效果，实验结果表明，该方法在公开数据集 Rain100L，Rain100H 和 Rain3000 上具有先进的性能和较快的推理速度。

    May, 2021

  • 非局部增强的编码器 - 解码器网络用于单张图像去雨

    本文主要介绍了一种有效的端到端神经网络结构的实现方法，并提出了一种非局部增强的编码 - 解码网络框架，以更高效学习不断抽象的特征表示，同时极大地保留图像细节。新网络框架组成了一系列非局部增强的密集块，旨在充分利用所有卷积层的分层特征，以及捕捉远距离的依赖关系和结构信息。实验表明，该方法在不同密度的雨天图像上可以有效地去除雨痕，并保留图像细节，优于最新的现有方法。

    Aug, 2018

  • 在线更新的高阶协作网络用于单图像去雨

    本文提出了一种高阶协同网络，其中包括多尺度紧凑约束和双向尺度内容相似度挖掘模块，有助于实现去雨滴效果的提高，并通过自我监督学习方法来提高模型性能。

    Feb, 2022

  • 脉冲神经网络中的深度剩余学习

    本文提出了基于 SEW ResNet 的残差学习算法来实现深度 SNNs 的直接训练，并通过在 ImageNet、DVS Gesture 和 CIFAR10-DVS 数据集上的实验表明 SEW ResNet 相对于目前最先进的神经网络直接训练方法在准确性和时间步长方面均有更好的表现。

    Feb, 2021

  • MDeRainNet：大像素图像雨痕去除的高效神经网络

    我们提出了一种名为 MDeRainNet 的高效网络，用于去除光场图像中的雨线，该网络采用多尺度编码器 - 解码器架构，在 Macro-pixel 图像上直接进行操作以提高雨线去除性能，并且借助 Extended Spatial-Angular Interaction (ESAI) 模块来完全建模空间和角度信息之间的全局相关性，并引入半监督学习框架以改善网络在现实场景中的泛化性能。经过对合成和真实光场图像的广泛实验证明，我们的方法在定量和定性上均优于现有方法。

    Jun, 2024

  • 具有残差通道先验指导的结构保持去雨

    本文提出了一种基于 CNN 的雨水去除算法，即通过提取图像的 RCP 实现结构信息的保护和恢复，同时利用 Wavelet-based Multi-Level Module 作为网络的骨干，通过 Interactive Fusion Module 实现 RCP 信息的充分利用，以此生成更加清晰精细的去雨图像。

    Aug, 2021

  • DRD-Net: 细节恢复图像去雨算法 —— 基于上下文聚合网络

    本文提出了一种细节恢复图像去雨网络，该网络包括由挤压激发操作与残差块组合的雨雾残余网络、结构细节上下文聚合块（SDCAB）和细节修复网络，并通过定量和定性比较表明，我们的方法在去雨稳健性和细节准确性方面优于现有的图像去雨方法。

    Aug, 2019

  • 脉冲去噪扩散概率模型

    本文提出了一种新的基于脉冲神经网络的生成模型 ——SDDPM，通过仅使用 4 个时间步骤的纯脉冲 U-Net 体系结构，实现与其 ANN 模型的可比性能，从而充分利用脉冲神经网络的能源效率，并在 CIFAR-10 和 CelebA 数据集上实现了卓越的性能，是脉冲神经网络生成领域的重大进展。

    Jun, 2023