CVPRApr, 2019

VORNet: 对象移除的时空一致视频修复

PDF
TL;DR本文提出了一种基于深度学习的视频物体移除网络（VORNet），该方法通过结合光流修补和基于图像修补模型的方法，在时空上保持稳定性，对生成的视频进行了客观和主观评估，结果表明与现有方法相比，我们的 VORNet 在时空上生成了更加稳定的视频。
videoobject removaldeep learningvornetspatio-temporal consistency
发现论文，激发创造
  • 遮挡感知视频对象修复

    通过建立大规模视频目标修复基准数据集与新的 VOIN 技术将视频对象形状完成和遮挡纹理生成相结合，本论文提出了一种面向对象和遮挡感知的视频修复方法，致力于准确还原大尺度遮挡对象区域的形状和外观。

    Aug, 2021

  • 单张视频修复

    本研究提出了一种统一的方法来实现一次性视频修复，它可以同时进行遮罩预测和视频完成，并通过端到端的学习来优化整个任务，其效果在合成数据集上表现最佳。

    Feb, 2023

  • 深度视频修复

    本文提出了一种基于深度学习的快速视频修复网络，结合图像编解码模型，利用邻帧信息综合填充未知视频区域，并运用循环反馈和时间存储模块确保输出的时空连续性，与之前的视频修复方法相比，其结果更为语义正确和时空平滑，且可用于视频重定向任务并生成优质视觉效果。

    May, 2019

  • 深度视频修复检测

    该研究探讨了视频修补检测技术，提出了一种双流编码器解码器体系结构和注意力模块的 VIDNet 方法，该模型采用误差级别分析数据增强处理 RGB 帧，进一步利用卷积 LSTM 模型对编码得到的多模态特征进行空间和时间关系的探索，并使用四个方向的局部注意力模块来检测像素是否被修补，实验结果表明 VIDNet 方法能够在各方面超越其他同类方法并且具有很好的泛化能力。

    Jan, 2021

  • 对比学习下的视频修复定位

    基于对比学习的 Video Inpainting LOcalization (ViLocal) 方案使用 3D Uniformer 编码器学习了有效的时空取证特征，通过吸引 / 排斥正 / 负原始和伪造像素对捕捉到了图像修复不一致，然后通过专门的两阶段训练策略利用轻量级卷积解码器生成了一个像素级修复定位地图，实验证明 ViLocal 优于现有技术。

    Jun, 2024

  • 深度视频修复的复制粘贴网络

    利用深度学习构建了 Copy-and-Paste Networks 模型，以实现视频修复和增强，能够从与目标帧对应的参考帧中复制相关内容并粘贴填充，从而提高视频修复效果和车道检测精度。

    Aug, 2019

  • VCNet: 盲目图像修复的强健方法

    本文提出了一种新的盲目修复网络，使训练过程在未知的缺失区域模式下更加鲁棒，并且通过语义不一致性的估计和新的空间归一化方法，使视觉修复更加精细，实验表明该方法在盲目图像修复方面相当有效。

    Mar, 2020

  • 时空强化网络用于视频目标分割

    最近，视频对象分割（VOS）网络通常使用基于记忆的方法：对于每个查询帧，通过空间 - 时间匹配预测掩码以与记忆帧相匹配。尽管这些方法具有卓越的性能，但存在两个问题：1）具有挑战性的数据可以破坏相邻视频帧之间的空间 - 时间一致性。2）像素级匹配会由噪音或干扰引起不希望的不匹配。为解决上述问题，我们首先提出在相邻帧之间生成一个辅助帧，作为查询帧的隐式短时间参考。随后，我们为每个视频对象学习一个原型，并在查询帧和记忆帧之间实施原型级匹配。实验证明，在 DAVIS 2017 上我们的网络优于最先进的方法，达到了 86.4% 的 J&F 分数，并且在 YouTube VOS 2018 上获得了 85.0% 的竞争结果。此外，我们的网络的推理速度为 32+ FPS。

    May, 2024

  • 深度流引导视频修复

    本文提出了一种新颖的视频修复方法，使用 Deep Flow Completion 网络综合光流场来引导像素填充，从而保证了视频内容的时空连贯性，并在 DAVIS 和 YouTube-VOS 数据集上取得了最优的修复质量和速度。

    May, 2019

  • 视频对象分割的学习实例传播（Learning Instance Propagation for Video Object Segmentation）

    本研究提出了一种端到端的深度神经网络，结合了 Mask-RCNN 实例分割网络和 Conv-GRU 视觉记忆模块，用于解决半监督视频对象分割任务，实验结果表明该方法在 DAVIS 数据集上取得了令人满意的结果。

    Sep, 2019