短期和长期上下文汇聚网络用于视频修复
本文提出了一种基于深度学习的快速视频修复网络,结合图像编解码模型,利用邻帧信息综合填充未知视频区域,并运用循环反馈和时间存储模块确保输出的时空连续性,与之前的视频修复方法相比,其结果更为语义正确和时空平滑,且可用于视频重定向任务并生成优质视觉效果。
May, 2019
利用深度学习构建了 Copy-and-Paste Networks 模型,以实现视频修复和增强,能够从与目标帧对应的参考帧中复制相关内容并粘贴填充,从而提高视频修复效果和车道检测精度。
Aug, 2019
本文提出了一种新的基于数据驱动的视频修复方法,采用了深度学习的网络结构,包含了两个子网络,一个是基于 3D 完全卷积的时间结构推断网络,另一个是二维全卷积网络的空间细节修复网络,该方法能够更好的恢复缺失的区域,并且其效果优于以往的视频修复方法。
Jun, 2018
该研究探讨了视频修补检测技术,提出了一种双流编码器解码器体系结构和注意力模块的 VIDNet 方法,该模型采用误差级别分析数据增强处理 RGB 帧,进一步利用卷积 LSTM 模型对编码得到的多模态特征进行空间和时间关系的探索,并使用四个方向的局部注意力模块来检测像素是否被修补,实验结果表明 VIDNet 方法能够在各方面超越其他同类方法并且具有很好的泛化能力。
Jan, 2021
该研究提出一种基于渐进式时间特征对齐网络的视觉修复方法,通过充分利用光流信号从相邻的视频帧中提取特征来消除时空对齐中的问题,实现了对视频内容的自然修复和优化,进而在多个数据集上获得了目前的最佳表现。
Apr, 2021
这篇论文提出了一种基于全局、基于补丁的功能的自动视频修复算法,可以处理动态纹理、多个移动对象和移动背景等挑战情况,并在执行时间方面比现有技术快一个数量级。最终的算法不需要分割或手动输入,只需要定义修复遮罩即可,并且能够处理比以前的工作更广泛的情况。
Mar, 2015
本篇论文提出了一种基于自注意力机制和空间 - 时间转换网络的视频修复方法,通过对所有输入帧进行自注意力填充缺失区域,并提出利用空间 - 时间对抗损失进行优化的方法,从而在定量和定性方面证明了该模型的优越性。
Jul, 2020
通过深度学习,对于图像和视频修复的基于深度学习的方法进行综合评述,并从高水平的修复流程、深度学习架构、模块设计等多个角度进行分类总结。同时,讨论了训练目标、常见基准数据集、评估指标以及各修复方法的优势、局限性及实际应用,并探讨了公开挑战和未来可能的研究方向。
Jan, 2024
本文介绍了一种名为 MumPy 的新型多边时空视图金字塔变换器,提出了一种利用新设计的多边时空视图编码器和可变形窗口时空视图交互模块的方法来灵活地合作处理空间 - 时间线索,以及开发了一个多金字塔解码器来聚合各种特征并生成检测图,通过调整空间和时间线索的贡献强度,我们的方法能够有效地识别修复区域。我们在现有数据集上验证了我们的方法,并且基于 YouTube-VOS 数据集引入了一个新的具有挑战性和大规模的视频修复数据集,该数据集使用了几种更近期的修复方法。结果显示了我们的方法在域内和跨域评估场景中的优越性。
Apr, 2024
提出了一种上下文残差聚合 (CRA) 机制来产生高频残差,从而实现对低分辨率预测的重量级聚合。该模型在小图片上进行训练,可在高分辨率图片上进行推断,其能力可达到以前的学习基础方法所无法实现的程度。
May, 2020