Mar, 2021

视频去雨的增强时空交互学习：更快更好的框架

PDF
TL;DR本文提出了一种新的端到端视频去雨水框架 ——Enhanced Spatio-Temporal Interaction Network（ESTINet）, 使用深度残差网络和卷积长短时记忆，可以在计算资源开销极小的情况下捕捉连续帧之间的空间特征和时间相关性，既能提高视频去雨效果又能加速计算，实验证明 ESTINet 比同类算法更快速、效果更好。
computer visionvideo derainingspatio-temporal featuresdeep residual networksconvolutional long short-term memory
发现论文，激发创造
  • 学习用于高效图像去雨的脉冲神经网络

    近期，我们提出了一种高效的 Spiking Deraining 网络 ESDNet，通过引入注意力权重来调整数据驱动的脉冲响应，以减轻离散二值激活引起的信息损失，从而有效地检测和分析雨痕的特征，并为去雨过程提供更好的指导，实现高质量的图像重构。

    May, 2024

  • EGVD：事件导向视频去雨

    使用事件相机进行视频去雨，通过事件感知的运动检测模块、金字塔自适应选择模块和真实世界数据集，提出一种端到端的基于学习的网络，证明了该方法的明显优越性。

    Sep, 2023

  • 在线更新的高阶协作网络用于单图像去雨

    本文提出了一种高阶协同网络，其中包括多尺度紧凑约束和双向尺度内容相似度挖掘模块，有助于实现去雨滴效果的提高，并通过自我监督学习方法来提高模型性能。

    Feb, 2022

  • 通向通用快速视频去雨的知识蒸馏

    通过知识蒸馏，我们提出了一种基于 Rain Review 的通用视频除雨网络（称为 RRGNet），它可以处理不同的雨线类型，并具备最佳的运行速度和除雨效果。

    Aug, 2023

  • ASF-Net：通过时间对齐和在线自适应学习实现稳健的视频去雨

    近期，基于学习的视频去雨方法取得了令人赞赏的结果，但依然需要解决两个关键挑战：利用相邻帧之间的时间相关性以及对未知真实场景的适应性。为了克服这些挑战，我们从范式设计到学习策略构建方面探索了视频去雨，并提出了一种新的计算范式，即对准 - 移位 - 融合网络（ASF-Net）。该网络引入了一个新颖的时间移位模块，通过促进特征空间内通道级信息的交换，提供了对时间信息更深层次的探索。为充分发挥模型的特征提取能力，我们构建了一个大规模的雨天视频数据集（LARA），该数据集还支持社区的开发。基于新构建的数据集，我们通过开发一种创新的反恶化学习策略来探索参数学习过程，从而弥合了合成场景和真实场景之间的差距，增强了场景适应性。我们提出的方法在三个基准测试中表现出卓越性能，在真实场景中具有令人信服的视觉质量，凸显了其有效性。代码可在 https URL 获得。

    Sep, 2023

  • 具有空间注意力机制的高清真实雨数据集单图像去雨方法

    本研究提出一个半自动的方法来生成高质量的干净图像，并构建了一个大规模的数据集，以更好地模拟现实情况下的雨条带效应。新的 SPatial Attentive Network（SPANet）以本地到全局的方式移除雨条带，并取得了与现有去雨技术相当的优异性能。

    Apr, 2019

  • 视频动态先验：鲁棒视频增强的内部学习方法

    我们提出了一个新颖的鲁棒性框架，用于低级视觉任务，包括去噪、物体移除、帧插值和超分辨率，不需要任何外部训练数据，通过优化损坏的测试序列来直接学习神经模块的权重，利用视频的时空相干性和内部统计信息。通过引入一种利用视频在不同尺度上的空间 - 时间块重复性属性的新型空间金字塔损失函数，增强了对空间和时间域中非结构化噪声的鲁棒性。进而，我们的框架在输入帧降质方面具有高鲁棒性，并在去噪、物体移除和帧插值等后续任务上取得了最新成果。为了验证我们方法的有效性，我们在标准视频数据集如 DAVIS、UCF-101 和 VIMEO90K-T 上进行了定性和定量评估。

    Dec, 2023

  • 单幅图像去雨的鲁棒特征学习与反馈

    提出了一种新的降雨去除方法，通过替换低质量特征的潜在高质量特征和引入闭环反馈精神解决模型误差和特征嵌入问题，实验结果表明该方法在基准数据集和真实数据集上优于现有的最新方法。

    Jan, 2021

  • 一种基于 CNN 框架的雨水去除视频内容的鲁棒对准与补偿方法

    通过将场景分解为深度一致的单位，并在 SP 级别对场景内容进行对齐处理，本文提出了一种新的去雨算法，该算法采用卷积神经网络将排序空间 - 时间匹配张量和一致的时间匹配张量准备用作输入特征，从而为中间去雨输出恢复高频细节。

    Mar, 2018

  • 高效图像到视频迁移学习的空间和时间解耦

    DiST 是一种双编码器结构，其中预训练的基础模型充当空间编码器，引入了轻量级网络作为时间编码器，通过插入一个集成分支来融合时空信息，从而实现了视频的空间和时间解耦学习，提高了性能表现。

    Sep, 2023