Jan, 2024

基于 Swin TransformerV2 和粗糙到精细策略的视频质量评估

PDF
TL;DR非参考视频质量评估中，通过引入经过多个图像质量评估数据集预训练的增强空间感知模块和轻量级的时域融合模块，本研究实现了使用 Swin Transformer V2 作为本地级别空间特征提取器，并通过一系列 Transformer 层融合这些多阶段表示。此外，还利用时域 Transformer 在视频中进行时空特征融合。为了适应不同比特率的压缩视频，我们采用粗到精的对比策略，以增强模型区分来自不同比特率视频的特征的能力。这是一篇扩展版的一页摘要。
non-reference video quality assessmentspatial perception moduletemporal fusion modulenr-vqaswin transformer v2
发现论文，激发创造
  • 学习广义时空深度特征表示用于无参考视频质量评估

    该研究提出了一种无参考视频质量评估方法，通过学习空间 - 时间域内的有效特征表示，结合高斯分布约束和金字塔时间聚合模块等方法，达到跨内容、分辨率和帧率的高泛化能力。实验表明，该方法在跨数据集设置方面优于现有方法，在内部数据集配置方面的性能相当，展示了该方法的高泛化能力。

    Dec, 2020

  • 捕捉用户生成内容中共存的失真以进行无引用视频质量评估

    视频质量评估的挑战在于解决用户生成内容视频中存在的严重失真导致整体视觉质量下降的问题，提出了 Visual Quality Transformer (VQT) 方法，并通过实验证明了其优于其他方法的性能。

    Jul, 2023

  • 基于深度学习的 UGC 视频无参考质量评估模型

    本文提出了一种简单有效的 UGC 视频质量评估模型，通过训练端到端的空间特征提取网络直接从视频帧像素中学习感知质量的空间特征表示，并提取运动特征来度量空间特征无法建模的时间相关失真。

    Apr, 2022

  • 利用丰富的质量感知特征增强盲视频质量评估

    本文提出了一种简单但有效的方法来增强社交媒体视频的盲视频质量评估（BVQA）模型。通过利用来自预训练盲图像质量评估（BIQA）和 BVQA 模型的丰富质量感知特征作为辅助特征，帮助 BVQA 模型处理社交媒体视频的复杂失真和多样内容。

    May, 2024

  • 基于 Transformer、相对排名和自一致性的无参考图像质量评估

    提出了一种新颖的模型，它通过卷积神经网络和 Transformers 中的自我关注机制，从输入图像中提取局部和非局部特征来解决无参考图像质量评估（NR-IQA）任务，同时提供自我一致性作为一个自我监督信号来提高模型的鲁棒性。经过在七个标准 IQA 数据集上的测试，证明了该模型达到了各种数据集上的最先进成果。

    Aug, 2021

  • StarVQA+: 视频质量评估的时空注意共训练

    本文提出了一种基于自注意力机制的 Space-Time Attention 网络用于解决视频质量评估问题，通过联合训练空间和时间注意力权重来解决 Transformer 中的数据饥饿问题，并在实际测试中证明了其优越性。

    Jun, 2023

  • 基于 Transformer 的无参考图像质量评估通过监督对比学习

    在这篇论文中，我们提出了一种基于监督对比学习与 Transformer 的图像质量评估模型 SaTQA，该模型通过 SCL 在大规模合成数据集上进行训练，从而提取出具有各种失真类型和水平的图像退化特征，并结合了 CNN 的归纳偏置和 Transformer 的长期依赖建模能力来进一步提取图像的失真信息，最终通过融合对比学习学到的退化特征和骨干网络提取的感知失真信息获取最终的失真图像质量得分。实验结果表明，SaTQA 在合成和真实数据集上都优于目前的最先进方法。

    Dec, 2023

  • 通过品质感知预训练和运动感知盲目评估野外视频的质量

    本文提出了一种模型基础的迁移学习方法，旨在将知识从图像质量评估（IQA）数据库和大规模的行为识别中传输到目标视频质量评估（VQA）数据库。该方法使用混合的列表排序损失函数进行训练，并在六个数据库上进行广泛的实验以验证其有效性。

    Aug, 2021

  • 交叉 IQA: 无监督学习图像质量评估

    提出了一种基于 Vision Transformer (ViT) 模型的无参考图像质量评估 (NR-IQA) 方法 Cross-IQA，可以从无标签图像数据中学习图像质量特征，并利用预训练的编码器进行线性回归模型的微调，实现了对图像的低频降级信息（如颜色变化、模糊等）的先进性能评估。

    May, 2024

  • 模块化盲视频质量评估

    通过提出一个模块化的盲视频质量评估模型，该模型结合了基本质量预测器、空间矫正器和时间矫正器，分别对视觉内容和失真、空间分辨率和帧率变化对视频质量的影响进行评估，实验证明该模型在视频数据库上取得了优秀的性能，并能够成本效益地添加其他与质量相关的视频属性。

    Feb, 2024