Dec, 2020

学习广义时空深度特征表示用于无参考视频质量评估

PDF
TL;DR该研究提出了一种无参考视频质量评估方法，通过学习空间 - 时间域内的有效特征表示，结合高斯分布约束和金字塔时间聚合模块等方法，达到跨内容、分辨率和帧率的高泛化能力。实验表明，该方法在跨数据集设置方面优于现有方法，在内部数据集配置方面的性能相当，展示了该方法的高泛化能力。
no-reference video quality assessmentspatial-temporal feature representationgaussian distribution constraintspyramid temporal aggregation modulehigh-generalization capability
发现论文，激发创造
  • 基于深度学习的 UGC 视频无参考质量评估模型

    本文提出了一种简单有效的 UGC 视频质量评估模型，通过训练端到端的空间特征提取网络直接从视频帧像素中学习感知质量的空间特征表示，并提取运动特征来度量空间特征无法建模的时间相关失真。

    Apr, 2022

  • 基于 Swin TransformerV2 和粗糙到精细策略的视频质量评估

    非参考视频质量评估中，通过引入经过多个图像质量评估数据集预训练的增强空间感知模块和轻量级的时域融合模块，本研究实现了使用 Swin Transformer V2 作为本地级别空间特征提取器，并通过一系列 Transformer 层融合这些多阶段表示。此外，还利用时域 Transformer 在视频中进行时空特征融合。为了适应不同比特率的压缩视频，我们采用粗到精的对比策略，以增强模型区分来自不同比特率视频的特征的能力。这是一篇扩展版的一页摘要。

    Jan, 2024

  • 深度视频表示学习综述

    该论文提供了对视频表示学习的综述，对于顺序视觉数据的时空特征学习方法进行分类，并比较它们在视频分析中的优缺点。

    May, 2024

  • 通过预测动态和外观统计信息进行视频自监督时空表示学习

    在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

    Apr, 2019

  • 适用于数据高效、无参考图像质量评估的学习通用感知表示

    无参考图像质量评估中，无监督学习的质量表示具有广泛的扭曲捕捉能力，并通过视觉语言模型提取高层次的图像质量信息，将这两组特征结合训练简单回归器有效预测质量，并展示了这些特征在数据有效和零样本情况下的优越性能。

    Dec, 2023

  • C3DVQA：基于三维卷积神经网络的全参考视频质量评估

    本文利用 3D 卷积神经网络提取时空特征以对视频帧进行全参考视频质量评估，并在 LIVE 和 CSIQ 数据集上实验，结果表明该方法达到了最先进的性能水平。

    Oct, 2019

  • 捕捉用户生成内容中共存的失真以进行无引用视频质量评估

    视频质量评估的挑战在于解决用户生成内容视频中存在的严重失真导致整体视觉质量下降的问题，提出了 Visual Quality Transformer (VQT) 方法，并通过实验证明了其优于其他方法的性能。

    Jul, 2023

  • 通过多层特征优化增强自监督视频表示学习

    本文提出了一种多层次特征优化框架，利用高级别特征构建分布图并指导低中级别特征学习。同时，设计了简单的时间建模模块以增强运动模式学习，并证明了该方法可以大大提高视频理解中的表示能力。

    Aug, 2021

  • VideoDG: 广义化视频中的时间关系以迎接新领域

    本文介绍了一种叫做 VideoDG 的框架，提供了两个技术贡献：一种新颖的深度架构 (Adversarial Pyramid Network) 和一个新的强健性方法 (adversarial data augmentation)，能够通过掌握不同时间尺度的局部关系特征和全局关系特征来解决视频领域通用性问题，并通过提高增强数据的多样性和质量来实现数据域之间的桥梁。在三个视频域通用基准测试上，VideoDG 框架一直表现出比以前的视频分类模型和现有的域通用方法更好的性能。

    Dec, 2019

  • 邻域代表采样用于高效的端到端视频质量评估

    本文提出了一种有效的质量敏感邻域代表方案，即基于时空网格小立方体采样（St-GMS），以及针对片段的神经网络结构 Fragment Attention Network（FANet），结合起来提出的高效端到端的 FAST-VQA 和 FasterVQA 方法，在所有视频质量评估基准测试中均显著优于现有方法，却仅需要当前最先进方法的 1/1612 的 FLOPs。

    Oct, 2022