CVPRJun, 2022

基于时空插值一致性训练的视频阴影检测

PDF
TL;DR本文提出了一种 基于空时插值一致性训练 (STICT) 框架的视频阴影检测方法，使用未标记的视频帧与标记的图像一起训练深度神经网络，通过空间插值和时间插值一致性约束增强像素级别分类任务的泛化性能和鼓励时间连续预测。此外，还提出了一种适用于图像的多尺度的阴影知识学习的 Scale-Aware Network 和稍微有一点尺度一致性约束的测量方法，结果表明，即使没有视频标签，该方法也比大多数现有的监督、半监督或无监督的图像 / 视频阴影检测方法和相关任务的其他方法更好。
发现论文，激发创造
  • STint：自标注时序插值的地理数据

    我们提出了一种无监督的时间插值技术，不依赖于光流等运动信息，通过自监督技术中的双循环一致性约束，使模型自动生成中间帧，从而在地理空间领域中获得更好的泛化性能。

    Aug, 2023

  • 插值一致性训练用于半监督学习

    通过 Interpolation Consistency Training 的算法来对半监督学习场景下的深度神经网络进行训练，该算法促进了标记分布的一致性并在高可信度值下减少过度拟合。

    Mar, 2019

  • 学习阴影对应以进行视频阴影检测

    介绍了一个新的视频阴影检测方法 SC-Cor，通过加强阴影区域的像素级相似性来提高帧之间的一致性，并且不需要强制对应标签。此外，该方法考虑了阴影区域内部的可分离性，易于与现有算法集成，且实验结果表明其性能比先前的最优方法更好。

    Jul, 2022

  • 学习盲视频时间一致性

    本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

    Aug, 2018

  • 深度伪造视频检测中的时空不一致性学习

    本研究提出了一个基于 Spatial-Temporal Inconsistency Learning (STIL) 的新型 STIL 块，用于改进 DeepFake 视频检测方法，实现更加全面和有效的空间 - 时间表示。通过将 STIL 块灵活地插入到现有的 2D CNN 中，本文通过广泛的实验和可视化结果证明其优于现有的技术方法。

    Sep, 2021

  • 三元协同视频阴影检测

    本文介绍了一个用于动态场景下阴影检测的新视频数据集 ViSha，并在此基础上开发了一种新型模型 TVSD-Net，该模型通过三个并行网络的协同学习来提高单一视频和不同视频之间的判别表示，以及利用辅助相似性损失来挖掘不同视频之间的语义信息。实验表明，该模型在阴影检测方面优于 SOTA 竞争对手。

    Mar, 2021

  • 视频阴影检测的时间特征扭曲

    本文提出了一种基于光流变形模块和深度网络层的信息检索方法，来更好地聚合时间信息，以提高视频阴影检测的性能，在 ViSha 数据集上测试表明模型的 BER 从 16.7 降低到 12.0，且优于当前最先进的视频阴影检测方法 28％。

    Jul, 2021

  • 视频实例分割的时空对比学习

    本文提出了一种基于 CondInst 方法和单阶段的跟踪头的简单高效的视频实例分割框架，利用新颖的双向时空对比学习策略和实例级别的时间一致性方案来提高实例关联性准确性，在 YouTube-VIS-2019，YouTube-VIS-2021 和 OVIS-2021 数据集上验证了该方法的有效性和效率。

    Feb, 2022

  • DA-STC: 基于时空一致性的领域自适应视频语义分割

    通过引入双向多级时空融合模块和类别感知的时空特征对齐模块，提出了一种新颖的 DA-STC 方法来解决视频语义分割任务中的领域自适应问题，并在多个具有挑战性的基准测试上取得了最先进的 mIOUs。

    Nov, 2023

  • 无监督视频插值技术基于循环一致性

    本文提出了一种基于循环一致性和伪监督的无监督技术，用于实现从低帧率视频直接合成高帧率视频。实验证明，该技术可以在不使用任何额外数据的情况下，显著提高预先训练模型在新目标域上的性能，从而大幅增加 PSNR 值。

    Jun, 2019