提出了 Decoupled Spatial-Temporal Transformer (DSTT) 来改进视频修复效果。该方法通过分解学习空间 - 时间注意力来提高时间和空间精度,同时采用分层编码器,形成更好的空间 - 时间注意力机制。实验证明,该方法比现有的视频修复方法具有更好的效率和性能。
Apr, 2021
本文提出了一种新的基于数据驱动的视频修复方法,采用了深度学习的网络结构,包含了两个子网络,一个是基于 3D 完全卷积的时间结构推断网络,另一个是二维全卷积网络的空间细节修复网络,该方法能够更好的恢复缺失的区域,并且其效果优于以往的视频修复方法。
Jun, 2018
该研究提出一种基于渐进式时间特征对齐网络的视觉修复方法,通过充分利用光流信号从相邻的视频帧中提取特征来消除时空对齐中的问题,实现了对视频内容的自然修复和优化,进而在多个数据集上获得了目前的最佳表现。
本文提出了一种基于深度学习的快速视频修复网络,结合图像编解码模型,利用邻帧信息综合填充未知视频区域,并运用循环反馈和时间存储模块确保输出的时空连续性,与之前的视频修复方法相比,其结果更为语义正确和时空平滑,且可用于视频重定向任务并生成优质视觉效果。
May, 2019
通过适应现有修复变换器的框架,我们提出了一种适应于实时视频的视频修复方法,以维持良好的修复质量,同时通过记忆和改进冗余计算来提高传输速率。
Mar, 2024
该研究探讨了视频修补检测技术,提出了一种双流编码器解码器体系结构和注意力模块的 VIDNet 方法,该模型采用误差级别分析数据增强处理 RGB 帧,进一步利用卷积 LSTM 模型对编码得到的多模态特征进行空间和时间关系的探索,并使用四个方向的局部注意力模块来检测像素是否被修补,实验结果表明 VIDNet 方法能够在各方面超越其他同类方法并且具有很好的泛化能力。
Jan, 2021
利用深度学习构建了 Copy-and-Paste Networks 模型,以实现视频修复和增强,能够从与目标帧对应的参考帧中复制相关内容并粘贴填充,从而提高视频修复效果和车道检测精度。
Aug, 2019
本文综述了当前图像或视频修复方法,特别关注基于 Transformer 的技术,旨在突出显著改进的方法,为图像或视频修复领域的新研究者提供指南,并通过其架构配置、损伤类型和性能指标对基于 Transformer 的技术进行分类。另外,我们提出了当前挑战的整理综合,以及对图像或视频修复领域未来研究的建议。
Jun, 2024
本文介绍了一种名为 MumPy 的新型多边时空视图金字塔变换器,提出了一种利用新设计的多边时空视图编码器和可变形窗口时空视图交互模块的方法来灵活地合作处理空间 - 时间线索,以及开发了一个多金字塔解码器来聚合各种特征并生成检测图,通过调整空间和时间线索的贡献强度,我们的方法能够有效地识别修复区域。我们在现有数据集上验证了我们的方法,并且基于 YouTube-VOS 数据集引入了一个新的具有挑战性和大规模的视频修复数据集,该数据集使用了几种更近期的修复方法。结果显示了我们的方法在域内和跨域评估场景中的优越性。
Apr, 2024
设计了一种具有优秀鲁棒性和泛化能力的受信任的视频修复定位网络(TruVIL),通过深度关注噪声学习多个阶段以捕捉修复痕迹,通过交叉模态关注融合模块探索两种互补模态之间的相关性,通过关注噪声解码模块选择性增强空间细节,实验证明了 TruVIL 相对于现有技术的卓越性能。