视频修复的流引导扩散算法
本文提出了一种新颖的视频修复方法,使用 Deep Flow Completion 网络综合光流场来引导像素填充,从而保证了视频内容的时空连贯性,并在 DAVIS 和 YouTube-VOS 数据集上取得了最优的修复质量和速度。
May, 2019
本文提出了一种 End-to-End framework for Flow-Guided Video Inpainting (E$^2$FGVI) 方法,该方法通过三个可训练模块的设计实现了光流的流程化。 实验结果表明,该方法在质量和效率上都优于现有的方法。
Apr, 2022
通过将视频修复问题作为条件生成建模问题加以解决的框架,以及利用生成方法的优势,本文展示了能够生成多样化且高质量修复效果的方法,并能够在时间、空间和语义上与给定的上下文相协调地合成新内容。
Apr, 2024
视频外延的研究中,我们引入了一种基于遮罩的三维扩散模型,在保持填充区域的时间连续性方面,通过使用遮罩建模技术训练模型,利用多个引导帧连接多个视频剪辑推理结果,确保了时间连续性,并减少相邻帧之间的抖动。另外,我们通过交叉注意力,以全局帧为提示,引导模型获取当前视频剪辑之外的信息。同时,我们还引入了混合的由粗到细的推理流程来缓解伪影积累问题,与现有的只使用填充策略的由粗到细流程不同,我们的流程可以通过遮罩建模的双向学习,在生成稀疏帧时采用填充与插值的混合策略。实验证明我们的方法在视频外延任务中实现了最先进的结果。更多结果请参阅我们的此 URL。
Sep, 2023
使用扩散模型实现了文本引导的图像修复的最新进展,而在视频领域中,关于文本引导的视频修复的研究较少。为了解决文本引导的视频修复中的三个主要挑战:时间一致性、不同修复类型的支持、以及可变的视频长度,我们提出了一种名为 AVID (Any-Length Video Inpainting with Diffusion Model) 的方法,它具备有效的运动模块和可调节的结构引导,并建立了一种新颖的时序多扩散采样管道,以实现任意持续时间的视频生成。通过全面的实验,我们的模型能够稳健地处理不同时长范围内的各种修复类型,并生成高质量的视频。
Dec, 2023
GradPaint 是一种用于图像修复的方法,通过计算模型的损失与输入图像的相干性,并使用扩散模型本身的梯度来引导生成过程,从而改善了目前基于监督和非监督方法的最新技术。
Sep, 2023
提出了一种新颖的视频修复算法,通过 Deep Image Prior(DIP)推出的卷积网络,同时生成缺失的外观和光流信息,并采用一种无需先验训练的生成式方法进行修复。该方法具有良好的视觉效果和长期一致性。
Sep, 2019
提出了一种基于光学流的流程引导变压器,用于高保真视频修复,通过设计新颖的流完整网络来完成损坏的光流,并使用流引导变压器来合成其余的损坏区域,通过时间和空间维度解耦变压器,以便仅集成局部相关的完成的流来控制流对每个空间变压器的影响。
Aug, 2022
本研究提出了基于流场引导的视频修复的误差补偿框架(ECFVI),通过设计新的流场完备模块和误差补偿网络,提高视频修复的时间连贯性和视觉质量,并通过新的基准测试数据集对所提出方法的高效性进行了支持。
Jul, 2022