遮挡感知视频对象修复
本文提出了一种基于深度学习的视频物体移除网络(VORNet),该方法通过结合光流修补和基于图像修补模型的方法,在时空上保持稳定性,对生成的视频进行了客观和主观评估,结果表明与现有方法相比,我们的 VORNet 在时空上生成了更加稳定的视频。
Apr, 2019
这篇论文提出了一种基于全局、基于补丁的功能的自动视频修复算法,可以处理动态纹理、多个移动对象和移动背景等挑战情况,并在执行时间方面比现有技术快一个数量级。最终的算法不需要分割或手动输入,只需要定义修复遮罩即可,并且能够处理比以前的工作更广泛的情况。
Mar, 2015
该研究探讨了视频修补检测技术,提出了一种双流编码器解码器体系结构和注意力模块的 VIDNet 方法,该模型采用误差级别分析数据增强处理 RGB 帧,进一步利用卷积 LSTM 模型对编码得到的多模态特征进行空间和时间关系的探索,并使用四个方向的局部注意力模块来检测像素是否被修补,实验结果表明 VIDNet 方法能够在各方面超越其他同类方法并且具有很好的泛化能力。
Jan, 2021
通过深度学习,对于图像和视频修复的基于深度学习的方法进行综合评述,并从高水平的修复流程、深度学习架构、模块设计等多个角度进行分类总结。同时,讨论了训练目标、常见基准数据集、评估指标以及各修复方法的优势、局限性及实际应用,并探讨了公开挑战和未来可能的研究方向。
Jan, 2024
本文提出了一种新颖的视频修复方法,使用 Deep Flow Completion 网络综合光流场来引导像素填充,从而保证了视频内容的时空连贯性,并在 DAVIS 和 YouTube-VOS 数据集上取得了最优的修复质量和速度。
May, 2019
提出了一种新颖的视频修复算法,通过 Deep Image Prior(DIP)推出的卷积网络,同时生成缺失的外观和光流信息,并采用一种无需先验训练的生成式方法进行修复。该方法具有良好的视觉效果和长期一致性。
Sep, 2019
本文提出了一种新的盲目修复网络,使训练过程在未知的缺失区域模式下更加鲁棒,并且通过语义不一致性的估计和新的空间归一化方法,使视觉修复更加精细,实验表明该方法在盲目图像修复方面相当有效。
Mar, 2020
本研究提出了一种基于深度学习的自由形式视频修复模型,采用 3D 时域门控卷积和新颖的时间 PatchGAN loss 解决非重复的结构物体遮挡及时间上的一致性问题,并通过收集视频并设计自由形式掩膜生成算法来构建 FVI 数据集,该模型被证明优于现有方法,特别适用于文字去除等视频编辑方向。
Apr, 2019
基于对比学习的 Video Inpainting LOcalization (ViLocal) 方案使用 3D Uniformer 编码器学习了有效的时空取证特征,通过吸引 / 排斥正 / 负原始和伪造像素对捕捉到了图像修复不一致,然后通过专门的两阶段训练策略利用轻量级卷积解码器生成了一个像素级修复定位地图,实验证明 ViLocal 优于现有技术。
Jun, 2024