Aug, 2021

递归融合与可变形时空注意力在视频压缩伪影减少中的应用

PDF
TL;DR本文提出了一种基于深度学习的视频还原方法，其采用递归融合模块和可变形时空注意力模块进行补偿，从而提高了众多现有算法在 MFQE 2.0 数据集上的还原质量。
deep learningvideo restorationspatiotemporal informationrecursive fusiondeformable spatiotemporal attention
发现论文，激发创造
  • 通过参考帧提案和频域信息提高视频压缩伪影减少的性能

    本文提出了一种有效的参考帧策略和一种基于 FFT 的损失方法，以提高已有多帧方法的性能，实验结果表明，我们的方法在 MFQE2.0 数据集上表现优异，赢得了 NTIRE 2021 质量提升重度压缩视频挑战赛的 Track 1 和 Track 2，并在 Track 3 中排名第二。

    May, 2021

  • 学习关注焦点以实现高效视频目标检测

    提出了一种基于可学习的空间 - 时间采样 (LSTS) 模块、分散递归特征更新 (SRFU) 和密集特征聚合 (DFA) 模块，实现了视频目标检测中的准确空间对应关系，增强特征更新，提升检测性能，并在 ImageNet VID 数据集上取得了最先进的表现和实时速度。

    Nov, 2019

  • 逐步稀疏的局部注意力在视频物体检测中的应用

    该论文提出了一种名为 PSLA 的新型模块，它通过逐步稀疏的步幅在局部区域内建立跨帧特征间的空间对应关系，并使用这个对应关系来传播特征。基于 PSLA，提出了 RFU 和 DenseFT 来分别建模时间外观和丰富特征表示，进而构建了一种新型的视频目标检测框架。实验表明，该方法在模型大小更小、运行时间可接受的情况下取得了最佳准确度。

    Mar, 2019

  • 循环视频修复变换器与引导变形注意力

    本文提出了一种鲁棒、高效的循环视频修复转换器 ——RVRT, 它将局部相邻帧在全局循环框架内并行处理，并利用 “引导变形关注” 跨片段对齐预测多个相关位置，在基准数据集上达到了最先进的性能。

    Jun, 2022

  • FMA-Net: 基于流向引导的动态滤波和多注意力迭代特征精炼的联合视频超分辨率和去模糊

    通过联合学习视频超分辨率和去模糊的方法，本文提出了一种名为 VSRDB 的视频清晰恢复方案，以从模糊的低分辨率视频中还原出干净的高分辨率视频。通过 FGDF 和 FRMA 两个部分构成的 FMA-Net 框架，我们的方法能够精确估计时空变化的退化和恢复内核，并通过迭代特征细化的方式进行多注意力的特征改进。鲁棒的实验证明了本文提出的 FMA-Net 在定量和定性方面优于现有的方法。

    Jan, 2024

  • Sparse4D v2：带稀疏模型的循环时间融合

    本文提出了 Sparse4Dv2 算法，通过在时间融合模块中实现一种递归形式的多帧特征采样来提高性能，并达到了 nuScenes 3D 检测基准的最佳结果。

    May, 2023

  • 视频去模糊的流引导稀疏变压器

    本文提出了一种新的视频去模糊框架，Flow-Guided Sparse Transformer（FGST），基于自注意力模块，使用光学流矫正模糊，并采用重复嵌入机制加强长时间依赖关系，结果表明 FGST 在 DVD 和 GOPRO 数据集上明显优于现有方法。

    Jan, 2022

  • STF：时空融合模块提升视频目标检测

    通过利用视频中连续帧的冗余和相关的互补信息，我们提出了一个时空融合框架，其中包括多帧和单帧关注模块，以及可学习地合并特征图以改进物体检测性能的双帧融合模块。实验证明，该融合模块相比基线物体检测器能够提高检测性能。

    Feb, 2024

  • 在真实世界中减少视频超分辨率模型中的伪影

    该文提出了一种视频超分辨率方法 FastRealVSR，使用了 Hidden State Attention 和 Selective Cross Attention 模块来减轻现实世界视频超分辨率中隐藏状态中的不良伪影。通过使用这些过滤器来产生更清洁的隐藏状态池，该方法能够在速度提升 2 倍的同时获得比 Real-BasicVSR 更好的性能。

    Dec, 2022

  • 基于时空变换器的视频压缩框架

    空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明，该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。

    Sep, 2023