视频深度先验及其在视频一致性和传播中的应用

Jan, 2022

视频深度先验及其在视频一致性和传播中的应用

Deep Video Prior for Video Consistency and Propagation

Chenyang Lei, Yazhou Xing, Hao Ouyang, Qifeng Chen

TL;DR本文提出了一种用于盲视频时间一致性的方法，该方法旨在解决仅在每个视频帧上独立应用图像处理算法导致的时间不一致问题。我们展示了通过在 Deep Video Prior（DVP）视频上训练卷积神经网络实现时间一致性的方法，并针对挑战性的多模态不一致性问题提出了一种经过精心设计的迭代加权训练策略。我们通过 7 个计算机视觉任务的广泛定量和感知实验展示了我们的方法的有效性，并证明了我们的方法在盲视频时间一致性方面优于现有技术水平。

Abstract

Applying an image processing algorithm independently to each video frame often leads to temporal inconsistency in the resulting video. To address this issue, we present a novel and general approach for blind video temporal consistency. Our method is only trained on a pair of original and processed videos directly instead of a large dataset. Unlike most previ

video temporal consistency deep video prior convolutional neural network iteratively reweighted training strategy video propagation

发现论文，激发创造

通过深度视频先验实现视频的无盲区时间一致性

采用卷积神经网络和 Deep Video Prior 相结合的方法，针对视频中存在的时域不一致问题提出了一个新颖的和普遍的解决方案，并在七项计算机视觉任务中证明了该方法的有效性和性能优于现有技术。

Oct, 2020

学习盲视频时间一致性

本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

Aug, 2018

从视频扩散先验中学习时间一致的视频深度

该研究旨在通过利用现有视频生成模型中的先验知识，将视频深度估计问题转化为条件生成问题，以降低学习难度并增强泛化能力。通过实证验证，作者提出了一种先优化空间层再优化时间层的训练策略，并通过滑动窗口策略在任意长的视频上进行推断，从而获得更具时间一致性的深度估计结果。实验结果表明，作者提出的 ChronoDepth 方法在估计深度的时间一致性方面优于现有方法，并在深度条件视频生成和新视角合成等实际应用中展示了更一致的视频深度的益处。

Jun, 2024

视频传播网络

该研究提出了使用视频传播网络进行语义分割的方法，该方法使用时不需要访问未来帧，并且与基于任务的最佳方法相比具有更高的性能。

Dec, 2016

深度视频颜色传播

本研究提出了一框架，结合了本地和全局策略，来利用深度学习技术实现视频中颜色的传播，使得颜色的传播更加稳定，并且利用了语义信息的特点，具有很高的优越性。

Aug, 2018

时序锐度先验下级联深度视频去模糊

本文提出了一种用于视频去模糊的简单而有效的深度卷积神经网络模型，该模型由中间潜在帧的光流估计和潜在帧恢复步骤组成，并开发了时间锐度先验以控制其性能表现。研究结果表明，该算法在基准数据集和实际视频上的表现优于现有的最先进方法。

Apr, 2020

视频深度一致性估计

通过利用传统的运动结构恢复来建立视频中像素的几何约束，使用基于学习的先验 —— 一种单图像深度估计的卷积神经网络，我们给出了一种用于重建密集、几何一致深度的算法。测试时，我们对这个网络进行微调，以满足特定输入视频的几何约束，同时保留其在视频中的其他区域中合成可信深度细节的能力。通过定量验证，我们证明了我们的方法比以前的单目重建方法有更高的准确性和更高的几何一致性。我们的算法能够处理具有轻度动态运动的挑战性手持捕获输入视频。改进重建的质量可以用于场景重建和高级视频视觉效果。

Apr, 2020

一种视频修复的内部学习方法

提出了一种新颖的视频修复算法，通过 Deep Image Prior（DIP）推出的卷积网络，同时生成缺失的外观和光流信息，并采用一种无需先验训练的生成式方法进行修复。该方法具有良好的视觉效果和长期一致性。

Sep, 2019

利用视频序列深度视觉先验进行大气湍流去除

基于自我监督学习的方法能够改善大气湍流扭曲效应，利用深度学习和时空先验能够提高图像质量。

Feb, 2024

使用深度先验集合学习融合传播技术进行图像增强

本文提出了一种统一的图像增强框架 ——Deep Prior Ensemble，结合了先验建模和卷积神经网络的优点，利用反馈控制设计了先验投影，使用体验启发的 CNN 来预测每个阶段的传播方向，通过理论证明保证输出满足基本的任务约束条件，实现了对不同图像增强任务的泛化集成方法。

Oct, 2018