深度视频修复的复制粘贴网络
本文提出了一种基于深度学习的快速视频修复网络,结合图像编解码模型,利用邻帧信息综合填充未知视频区域,并运用循环反馈和时间存储模块确保输出的时空连续性,与之前的视频修复方法相比,其结果更为语义正确和时空平滑,且可用于视频重定向任务并生成优质视觉效果。
May, 2019
通过深度学习,对于图像和视频修复的基于深度学习的方法进行综合评述,并从高水平的修复流程、深度学习架构、模块设计等多个角度进行分类总结。同时,讨论了训练目标、常见基准数据集、评估指标以及各修复方法的优势、局限性及实际应用,并探讨了公开挑战和未来可能的研究方向。
Jan, 2024
提出了一种新颖的视频修复算法,通过 Deep Image Prior(DIP)推出的卷积网络,同时生成缺失的外观和光流信息,并采用一种无需先验训练的生成式方法进行修复。该方法具有良好的视觉效果和长期一致性。
Sep, 2019
本文提出了一种新的基于数据驱动的视频修复方法,采用了深度学习的网络结构,包含了两个子网络,一个是基于 3D 完全卷积的时间结构推断网络,另一个是二维全卷积网络的空间细节修复网络,该方法能够更好的恢复缺失的区域,并且其效果优于以往的视频修复方法。
Jun, 2018
本文提出了一种新颖的视频修复方法,使用 Deep Flow Completion 网络综合光流场来引导像素填充,从而保证了视频内容的时空连贯性,并在 DAVIS 和 YouTube-VOS 数据集上取得了最优的修复质量和速度。
May, 2019
这篇论文提出了一种基于全局、基于补丁的功能的自动视频修复算法,可以处理动态纹理、多个移动对象和移动背景等挑战情况,并在执行时间方面比现有技术快一个数量级。最终的算法不需要分割或手动输入,只需要定义修复遮罩即可,并且能够处理比以前的工作更广泛的情况。
Mar, 2015
该研究探讨了视频修补检测技术,提出了一种双流编码器解码器体系结构和注意力模块的 VIDNet 方法,该模型采用误差级别分析数据增强处理 RGB 帧,进一步利用卷积 LSTM 模型对编码得到的多模态特征进行空间和时间关系的探索,并使用四个方向的局部注意力模块来检测像素是否被修补,实验结果表明 VIDNet 方法能够在各方面超越其他同类方法并且具有很好的泛化能力。
Jan, 2021
该研究提出一种基于渐进式时间特征对齐网络的视觉修复方法,通过充分利用光流信号从相邻的视频帧中提取特征来消除时空对齐中的问题,实现了对视频内容的自然修复和优化,进而在多个数据集上获得了目前的最佳表现。
Apr, 2021
这篇论文通过分析视频修复技术的最新进展,探讨了计算机视觉和人工智能中的一个关键领域。论文通过人工评估和计算资源比较综合考虑视觉质量和计算效率之间的平衡,并为未来探索这个充满活力和不断发展的领域提供了指导。
Jan, 2024
这篇论文提出了一种上下文聚合网络,结合短期和长期帧信息进行视频修复,其中利用有界感知短期上下文聚合将缺失区域的边界与邻域帧的相关区域对齐并聚合,再利用动态长期上下文聚合来全局精调编码阶段生成的特征图,实验表明该方法具有较快的修复速度和更好的结果。
Sep, 2020