- SVG:通过去噪帧矩阵生成 3D 立体视频
使用现成的单目视频生成模型,我们提出了一种无姿态、无需训练的方法来生成 3D 立体视频,并采用了新颖的帧矩阵视频修复框架。我们的方法利用估计的视频深度将生成的单目视频变形为立体基线上的摄像机视图,并使用视频生成模型对观察到的不同时间戳和视图 - 基于条件扩散模型的语义一致视频修复
通过将视频修复问题作为条件生成建模问题加以解决的框架,以及利用生成方法的优势,本文展示了能够生成多样化且高质量修复效果的方法,并能够在时间、空间和语义上与给定的上下文相协调地合成新内容。
- Raformer: 视频线路修复的冗余感知 Transformer
通过引入新的视频镂空数据集(WRV2)和伪线状掩码(PWS),本研究提出了一种新方法 Raformer,用于解决视频镂空中电线去除的独特挑战,并在传统视频镂空数据集和 WRV2 数据集上进行了广泛实验证明 Raformer 优于其他最先进的 - 面向在线实时基于内存的视频修复变换
通过适应现有修复变换器的框架,我们提出了一种适应于实时视频的视频修复方法,以维持良好的修复质量,同时通过记忆和改进冗余计算来提高传输速率。
- 重新构想现实:视频修复技术的综合调研
这篇论文通过分析视频修复技术的最新进展,探讨了计算机视觉和人工智能中的一个关键领域。论文通过人工评估和计算资源比较综合考虑视觉质量和计算效率之间的平衡,并为未来探索这个充满活力和不断发展的领域提供了指导。
- 基于深度学习的图像和视频修复研究综述
通过深度学习,对于图像和视频修复的基于深度学习的方法进行综合评述,并从高水平的修复流程、深度学习架构、模块设计等多个角度进行分类总结。同时,讨论了训练目标、常见基准数据集、评估指标以及各修复方法的优势、局限性及实际应用,并探讨了公开挑战和未 - 视频修复的流引导扩散算法
Flow-Guided Diffusion model significantly enhances temporal consistency and inpainting quality in video inpainting by em - 视频修复的内部扩散技术
视频修复方法基于扩散模型的内部学习算法,通过简化学习步骤并针对动态背景和纹理,在视频修复任务中达到了最先进的性能。
- 音视频自监督引导的深度视频修复
通过提出的两个新损失函数:音频 - 视觉关注损失和音频 - 视觉伪类一致性损失,我们向视频修复网络传递音频 - 视觉对应关系的先验知识,进而提高视频修复的性能。实验证明,我们的方法可以更好地恢复更广泛的视频场景,并且在场景中的声音对象局部遮 - 位流损坏的视频恢复:一个新的基准数据集和方法
本研究介绍了首个具有超过 28,000 个视频剪辑的比特流损坏视频恢复的基准数据集 (BSCV),它包含了三个参数的损坏模型、丰富的错误模式、多个损坏级别以及灵活的数据集分支,并利用 BSCV 数据集评估了最先进的视频修复方法,在比特流损坏 - ICCVProPainter: 提升视频修复的传播和变换器
通过改进的 ProPainter 框架,结合了增强的 ProPagation 和高效的 Transformer 机制,实现了视频修复的高效性和更好的效果。
- 基于缺陷感知掩模变换的视频修复模型
该研究提出了一种双模式兼容修复框架,称为 Deficiency-aware Masked Transformer (DMT),通过自注意力模块和感受野上下文增强来提高视频修复的性能。
- ECCV基于变压器的视频修补中利用光流指导
提出 Flow-guided transformer plus (FGT++) 模型,通过轻量级的流完成网络、流引导功能模块及时空维度分离 MHSA 机制等方式,提高视频修复的效率与效果。
- ECCV基于 Flow-Guided 技术的视频修复 Transformer
提出了一种基于光学流的流程引导变压器,用于高保真视频修复,通过设计新颖的流完整网络来完成损坏的光流,并使用流引导变压器来合成其余的损坏区域,通过时间和空间维度解耦变压器,以便仅集成局部相关的完成的流来控制流对每个空间变压器的影响。
- ECCV流引导视频修复的误差补偿框架
本研究提出了基于流场引导的视频修复的误差补偿框架(ECFVI),通过设计新的流场完备模块和误差补偿网络,提高视频修复的时间连贯性和视觉质量,并通过新的基准测试数据集对所提出方法的高效性进行了支持。
- CVPR流引导视频修复的端到端框架
本文提出了一种 End-to-End framework for Flow-Guided Video Inpainting (E$^2$FGVI) 方法,该方法通过三个可训练模块的设计实现了光流的流程化。 实验结果表明,该方法在质量和效率上 - ICCVFuseFormer: 用于视频修复的 Transformer 融合细粒度信息
FuseFormer 是一种针对视频修复任务的 Transformer 模型,通过使用细粒度特征融合的新型软分割和软组合操作,实现了更加有效的特征传播和内容合成,优于现有技术方法。
- ICCV隐式长程传播内部视频修复
该论文提出了一种基于内部学习策略的视频修复框架,通过拟合卷积神经网络来替换未知区域,设计了两个规则项以保留高频细节和长期时间一致性,进一步将提出的方法扩展到学习从 4K 视频中给定单个对象的掩码来删除视频中的对象的挑战性任务。
- CVPR细节决定一切:视频修复诊断评估基准
本论文提出了一个名为 DEVIL 的基准测试,其包含一个新型数据集和评估方案,用于评估视频修复方法的性能,采样数据集的内容属性,并根据重构,真实性和时间一致性质量对每个采样片段进行评分,能够更深入地分析视频修复方法的失败模式和系统变化。
- 视频修复的解耦空时变形器
提出了 Decoupled Spatial-Temporal Transformer (DSTT) 来改进视频修复效果。该方法通过分解学习空间 - 时间注意力来提高时间和空间精度,同时采用分层编码器,形成更好的空间 - 时间注意力机制。实验