AAAIDec, 2021

基于时间空间辅助网络的视频转码修复

PDF
TL;DR本文提出了一种新的方法 TSAN 用于解决因多次视频编码和转码而出现的视频压缩失真问题，该方法使用浅层编码视频作为中间标签以辅助实现自监督注意力训练，并使用邻域多帧信息进行转码视频恢复。实验结果表明，所提出的方法的性能优于以往技术。
video encodingtranscodingvideo restorationself-supervised attention trainingtemporal deformable alignment
发现论文，激发创造
  • VRT: 视频修复变换器

    本文介绍了一种基于 Transformer 的视频修复方法，利用时序信息进行跨帧高清图像恢复，在多个基准数据集上均取得了高于现有方法的表现。

    Jan, 2022

  • 从自然剧本知识中学习可转移的时空表示

    本研究提出了一种利用语义转录排序来增强可转移的时空表示学习的方法，通过将视觉模型与自然转录的语言知识结合起来，使视频模型能够在时间上建立背景并重塑叙述性的转录，从而实现在多样化数据集上表现出色。

    Sep, 2022

  • 动态场景图生成的时空变换器

    本文提出了一种基于空间 - 时间变换器 (STTran) 的神经网络，用于生成给定视频的动态场景图。STTran 包括一个空间编码器和一个时间解码器，能够有效地捕捉对象之间的视觉关系和帧之间的时间依赖。与已有方法相比，我们的方法在 Action Genome 数据集上表现出了更好的性能。

    Jul, 2021

  • 一种视频修复的两阶段框架的渐进式训练

    该论文提出了一种包括多帧循环网络和单帧变形器的两阶段框架，并应用多种训练策略来缩短训练时间并提高模型性能，用于处理视频修复中的图像噪声、模糊及压缩失真等问题，在 NTIRE 2022 超分辨率和压缩视频质量增强的竞赛中获得了两个冠军和一个亚军。

    Apr, 2022

  • 老电影复兴计划

    本文提出了一种学习框架 —— 循环 Transformer 网络 (RTN)，用于修复破损的旧电影。该方法基于从旁边的帧中学习到的隐藏知识来进行恢复，能够有效推断划痕位置，同时保证时间连续性，利用更强大的 Transformer 块进行空间恢复，实验表明该方法优于现有的解决方案，并且可以有效地传播关键帧的颜色，最终呈现出令人信服的恢复电影。

    Mar, 2022

  • DeepRemaster: 时间源自注意力网络，全面提升视频质量

    提出了一种结合时间卷积神经网络和注意力机制的半交互式单一框架，用于修复陈旧影像并彩色化，其性能优于现有方法，并随视频时长和引用图像数量的增加而提高。

    Sep, 2020

  • TDAN：视频超分辨率的时间可变对齐网络

    本文提出了一种基于时间变形对齐网络的视频超分辨率模型，它可以在不需要光流计算的情况下，通过学习参考帧和支持帧的特征，动态预测采样卷积核的偏移来对参考帧和支持帧进行自适应对齐，从而获得高质量的超分辨率视频重建结果。

    Dec, 2018

  • 利用时间对抗性增强提高视频表现

    本研究提出了一种新的视觉增强技术 (Temporal Adversarial Augmentation), 该技术利用时间关注，通过最大化与时间相关的损失函数来移动神经网络的注意力分布，实现神经网络对于视频剪辑的视角多样化，增强了神经网络的泛化能力，提高模型对于 ODD 情况的稳健性，不需要额外的参数或计算成本。

    Apr, 2023

  • 使用 Swin-UNet 进行模拟视频恢复

    历史档案的模拟视频经常因胶带支撑物的退化而导致严重的视觉退化，需要耗时昂贵的手动干预才能恢复原始内容。本论文提出了一个多帧方法的系统，能够处理严重的胶带偏离导致的短帧问题。我们在一个重要的历史视频档案中进行了测试，并展示了我们的演示系统的有效性。代码和预训练模型可在链接中公开获取。

    Nov, 2023

  • 自监督视频 Transformer

    本研究提出了一种基于未标记视频数据进行自监督训练的视频 Transformer 方法。通过使用不同的空间大小和帧速率创建局部和全局的时空视图，实现了视频内 actions 的时空不变性，并且该方法不再需要使用负样本或专用存储器。该方法在动作识别基准数据集（Kinetics-400，UCF-101，HMDB-51 和 SSv2）上表现出色，并能够在小批量的情况下更快地收敛。

    Dec, 2021