Sep, 2023

ASF-Net：通过时间对齐和在线自适应学习实现稳健的视频去雨

PDF
TL;DR近期，基于学习的视频去雨方法取得了令人赞赏的结果，但依然需要解决两个关键挑战：利用相邻帧之间的时间相关性以及对未知真实场景的适应性。为了克服这些挑战，我们从范式设计到学习策略构建方面探索了视频去雨，并提出了一种新的计算范式，即对准 - 移位 - 融合网络（ASF-Net）。该网络引入了一个新颖的时间移位模块，通过促进特征空间内通道级信息的交换，提供了对时间信息更深层次的探索。为充分发挥模型的特征提取能力，我们构建了一个大规模的雨天视频数据集（LARA），该数据集还支持社区的开发。基于新构建的数据集，我们通过开发一种创新的反恶化学习策略来探索参数学习过程，从而弥合了合成场景和真实场景之间的差距，增强了场景适应性。我们提出的方法在三个基准测试中表现出卓越性能，在真实场景中具有令人信服的视觉质量，凸显了其有效性。代码可在 https URL 获得。
发现论文，激发创造
  • 视频去雨的增强时空交互学习：更快更好的框架

    本文提出了一种新的端到端视频去雨水框架 ——Enhanced Spatio-Temporal Interaction Network（ESTINet）, 使用深度残差网络和卷积长短时记忆，可以在计算资源开销极小的情况下捕捉连续帧之间的空间特征和时间相关性，既能提高视频去雨效果又能加速计算，实验证明 ESTINet 比同类算法更快速、效果更好。

    Mar, 2021

  • 视频域自适应的时间关注对齐

    本研究提出了一个更大规模的视频领域自适应数据集 UCF-HMDB_full，并探究了不同的 Integration 方法以及通过指定领域距离来显式关注时间动态的方法 TA3N 来实现更有效的域适应。

    May, 2019

  • ALANET: 自适应潜在注意力网络用于视频去模糊和插值

    本文提出了一种新颖的 Adaptive Latent Attention Network (ALANET) 体系结构，可生成高帧率锐利视频，具有去模糊和插值任务，利用自注意和交叉注意模块优化表示来帮助模型生成和插值锐利帧。实验结果表明，我们的方法在标准数据集上表现优异。

    Aug, 2020

  • 学习关注焦点以实现高效视频目标检测

    提出了一种基于可学习的空间 - 时间采样 (LSTS) 模块、分散递归特征更新 (SRFU) 和密集特征聚合 (DFA) 模块，实现了视频目标检测中的准确空间对应关系，增强特征更新，提升检测性能，并在 ImageNet VID 数据集上取得了最先进的表现和实时速度。

    Nov, 2019

  • 面向大规模视频域自适应的时态关注对齐

    提出了两个大规模视频领域自适应数据集，并研究了不同的视频 DA 集成方法，展示了同时对齐和学习时间动态可实现有效对齐的效果，最后提出了一个基于时间注意力的对抗适应网络 TA3N，实现更有效的领域对齐，达到了四个视频 DA 数据集的最优性能。

    Jul, 2019

  • 递归融合与可变形时空注意力在视频压缩伪影减少中的应用

    本文提出了一种基于深度学习的视频还原方法，其采用递归融合模块和可变形时空注意力模块进行补偿，从而提高了众多现有算法在 MFQE 2.0 数据集上的还原质量。

    Aug, 2021

  • 重新审视现成的时间模型在大规模视频分类中的有效性

    这篇论文介绍我们在 ActivityNet Kinetics 挑战赛中获得第一名的视频识别任务的解决方案。我们使用 DevNet 框架进行特征提取，然后使用四种不同的时间建模方法，在 Kinetics 数据集上取得了显著的表现提升。

    Aug, 2017

  • 图像变视频：通过图像转视频的可微分自动增强和融合重塑感受野

    本文提出了一种利用自动数据增强技术进行图像分类和语义分割任务的新方法，称为 Differentiable Augmentation Search (DAS)，通过生成可作为视频处理的图像变化，DAS 可以在极短的时间内搜索非常大的搜索空间，且相比标准的数据增强方法，在不同的轻量级视频骨干网络上取得更高的准确性。

    Mar, 2024

  • TDAN：视频超分辨率的时间可变对齐网络

    本文提出了一种基于时间变形对齐网络的视频超分辨率模型，它可以在不需要光流计算的情况下，通过学习参考帧和支持帧的特征，动态预测采样卷积核的偏移来对参考帧和支持帧进行自适应对齐，从而获得高质量的超分辨率视频重建结果。

    Dec, 2018

  • FMA-Net: 基于流向引导的动态滤波和多注意力迭代特征精炼的联合视频超分辨率和去模糊

    通过联合学习视频超分辨率和去模糊的方法，本文提出了一种名为 VSRDB 的视频清晰恢复方案，以从模糊的低分辨率视频中还原出干净的高分辨率视频。通过 FGDF 和 FRMA 两个部分构成的 FMA-Net 框架，我们的方法能够精确估计时空变化的退化和恢复内核，并通过迭代特征细化的方式进行多注意力的特征改进。鲁棒的实验证明了本文提出的 FMA-Net 在定量和定性方面优于现有的方法。

    Jan, 2024