ICCVJun, 2019

无监督视频插值技术基于循环一致性

PDF
TL;DR本文提出了一种基于循环一致性和伪监督的无监督技术，用于实现从低帧率视频直接合成高帧率视频。实验证明，该技术可以在不使用任何额外数据的情况下，显著提高预先训练模型在新目标域上的性能，从而大幅增加 PSNR 值。
high frame rate videosinterpolationunsupervised techniquescycle consistencypseudo supervised loss term
发现论文，激发创造
  • 从时间的循环一致性中学习对应关系

    本文提出了一种自监督的方法，通过循环一致性来学习视觉对应关系，应用其学到的特征图表示可以在一系列视觉对应任务中取得较好的性能。

    Mar, 2019

  • 具有传递一致性损失的多尺度视频帧合成网络

    本文提出了一种基于神经网络的视频插值方法，避免了传统基于光流的方法的不足，采用了跨层参数共享和跨域一致性损失等技术，该方法在实验中表现良好。

    Dec, 2017

  • 优化预训练动作模型

    使用自我监督训练改进现有的有监督模型，通过将数据标记和训练分为两个不同的阶段，并结合简单的技术来稠密化和重平衡伪标签，从而在实际视频中实现可靠的增益，适用于短期（基于流）和长距离（多帧）像素跟踪。

    Jan, 2024

  • STint：自标注时序插值的地理数据

    我们提出了一种无监督的时间插值技术，不依赖于光流等运动信息，通过自监督技术中的双循环一致性约束，使模型自动生成中间帧，从而在地理空间领域中获得更好的泛化性能。

    Aug, 2023

  • 模糊视频帧插值

    本研究提出了一种模糊视频帧插值方法，通过金字塔模块和内部循环递推模块实现一定程度上同时减少运动模糊和提高帧率。实验证明，该方法在影像增强方面表现优异。

    Feb, 2020

  • 使用循环一致性自监督的光场视角合成

    提出了一种自监督的光场视图合成框架，利用循环一致性约束和两个损失函数（循环损失和重建损失）来生成稠密的中间视图，并通过高质量自然视频数据的先验知识来减少标记的光场数据的需求，具有与有监督微调相当的性能，并优于现有技术。

    Aug, 2020

  • 从叙述视频循环中学习时间动态

    提出了一种基于自监督训练的计算机视觉方法，通过结合视觉和语言的时间循环一致性来学习模型预测未来和过去的动态变化，并可应用于不同任务，如动作预测和图像排序。

    Jan, 2021

  • Super SloMo: 多个中间帧的高质量视频插帧估计

    本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模，同时考虑运动解释和遮挡关系的方法，其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流，并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验，结果表明其表现优于现有方法。

    Nov, 2017

  • 学习盲视频时间一致性

    本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

    Aug, 2018

  • 时间循环一致性学习

    本文提出了一种基于自我监督学习的视频时序对齐表征学习方法，其通过训练神经网络使用时间循环一致损失（TCC）来找到多个视频之间在时间上的对应关系，从而得到每一帧的表征，可用于快速地对视频进行对齐和分类。该方法在少量监督数据和其他自监督方法上都有较好的表现，同时还可用于多种视频应用领域的数据同步和异常检测。

    Apr, 2019