本文提出了一种基于深度学习的快速视频修复网络,结合图像编解码模型,利用邻帧信息综合填充未知视频区域,并运用循环反馈和时间存储模块确保输出的时空连续性,与之前的视频修复方法相比,其结果更为语义正确和时空平滑,且可用于视频重定向任务并生成优质视觉效果。
May, 2019
本篇论文提出了一种基于自注意力机制和空间 - 时间转换网络的视频修复方法,通过对所有输入帧进行自注意力填充缺失区域,并提出利用空间 - 时间对抗损失进行优化的方法,从而在定量和定性方面证明了该模型的优越性。
Jul, 2020
利用深度学习构建了 Copy-and-Paste Networks 模型,以实现视频修复和增强,能够从与目标帧对应的参考帧中复制相关内容并粘贴填充,从而提高视频修复效果和车道检测精度。
Aug, 2019
本文提出一种创新的方法,将 Transformer 编码器和卷积特征相结合,从而减少了近 50% 的内存负担,在推理时间上比现有的基于 Transformer 的插值方法运行速度提高了近四倍,并引入双编码器架构来结合局部相关的卷积和远程相关的 Transformer。在复杂运动方面进行了定量评估,展示了所提出方法的鲁棒性,与最先进的插值网络相比,取得了竞争性能。
Jul, 2023
提出了一种基于光学流的流程引导变压器,用于高保真视频修复,通过设计新颖的流完整网络来完成损坏的光流,并使用流引导变压器来合成其余的损坏区域,通过时间和空间维度解耦变压器,以便仅集成局部相关的完成的流来控制流对每个空间变压器的影响。
Aug, 2022
该论文提出了一种基于注意力机制的变形器模型依次恢复整体图像结构,利用一个附加的结构修复器,通过零初始化残差加法有效地集成预训练修补模型,采用掩膜位置编码策略提高了不规则掩膜修补效果。
Mar, 2022
通过深度学习,对于图像和视频修复的基于深度学习的方法进行综合评述,并从高水平的修复流程、深度学习架构、模块设计等多个角度进行分类总结。同时,讨论了训练目标、常见基准数据集、评估指标以及各修复方法的优势、局限性及实际应用,并探讨了公开挑战和未来可能的研究方向。
Jan, 2024
提出了一种新颖的视频修复算法,通过 Deep Image Prior(DIP)推出的卷积网络,同时生成缺失的外观和光流信息,并采用一种无需先验训练的生成式方法进行修复。该方法具有良好的视觉效果和长期一致性。
Sep, 2019
本文提出了一种基于 transformer 的大孔修复模型,它结合了大尺寸的图像处理和 transformer 的优势,通过在注意力模块中定制面向修复的 transformer 块并使用动态掩码来聚合非局部信息,得到了在多个基准数据集上最先进的效果。
本文提出使用受自我监督预训练的 MAE 方法,作为 inpainting 模型的新骨架,并加入 MAE 注意先验,以增强 inpainting 模型的长距离依赖性,验证结果显示该方法在 Places2 和 FFHQ 上都取得了较好的效果。