基于深度学习的图像和视频修复研究综述
这篇论文通过分析视频修复技术的最新进展,探讨了计算机视觉和人工智能中的一个关键领域。论文通过人工评估和计算资源比较综合考虑视觉质量和计算效率之间的平衡,并为未来探索这个充满活力和不断发展的领域提供了指导。
Jan, 2024
本文综述了当前图像或视频修复方法,特别关注基于 Transformer 的技术,旨在突出显著改进的方法,为图像或视频修复领域的新研究者提供指南,并通过其架构配置、损伤类型和性能指标对基于 Transformer 的技术进行分类。另外,我们提出了当前挑战的整理综合,以及对图像或视频修复领域未来研究的建议。
Jun, 2024
这篇论文提出了一种基于全局、基于补丁的功能的自动视频修复算法,可以处理动态纹理、多个移动对象和移动背景等挑战情况,并在执行时间方面比现有技术快一个数量级。最终的算法不需要分割或手动输入,只需要定义修复遮罩即可,并且能够处理比以前的工作更广泛的情况。
Mar, 2015
本文提出了一种基于深度学习的快速视频修复网络,结合图像编解码模型,利用邻帧信息综合填充未知视频区域,并运用循环反馈和时间存储模块确保输出的时空连续性,与之前的视频修复方法相比,其结果更为语义正确和时空平滑,且可用于视频重定向任务并生成优质视觉效果。
May, 2019
提出了一种新颖的视频修复算法,通过 Deep Image Prior(DIP)推出的卷积网络,同时生成缺失的外观和光流信息,并采用一种无需先验训练的生成式方法进行修复。该方法具有良好的视觉效果和长期一致性。
Sep, 2019
本文是对已有图像修复方法的分析以及分类,分为基于顺序、基于 CNN 和基于 GAN 的方法,并提供不同类型图像失真的方法列表和可用数据集,为数字图像修复研究者提供了参考和方便了方法的比较和数据集的使用。
Sep, 2019
利用深度学习构建了 Copy-and-Paste Networks 模型,以实现视频修复和增强,能够从与目标帧对应的参考帧中复制相关内容并粘贴填充,从而提高视频修复效果和车道检测精度。
Aug, 2019
本文提出了一种基于深度神经网络和纹理传播的学习方法来完成图像修复,通过分离任务为推理和翻译两个步骤并用简单的启发式算法指导局部纹理从边界到空洞的传播,我们证明了我们的方法在几个公共数据集上能够产生比以前的最先进方法更高质量的视觉结果。
Nov, 2017
通过提出的两个新损失函数:音频 - 视觉关注损失和音频 - 视觉伪类一致性损失,我们向视频修复网络传递音频 - 视觉对应关系的先验知识,进而提高视频修复的性能。实验证明,我们的方法可以更好地恢复更广泛的视频场景,并且在场景中的声音对象局部遮挡时特别有效。
Oct, 2023
基于对比学习的 Video Inpainting LOcalization (ViLocal) 方案使用 3D Uniformer 编码器学习了有效的时空取证特征,通过吸引 / 排斥正 / 负原始和伪造像素对捕捉到了图像修复不一致,然后通过专门的两阶段训练策略利用轻量级卷积解码器生成了一个像素级修复定位地图,实验证明 ViLocal 优于现有技术。
Jun, 2024