Aug, 2024

利用大型多模态模型推进视频质量评估

HTML
PDF
TL;DR本研究解决了当前视频质量评估(VQA)算法在复杂空间和时间扭曲下面临的挑战。我们提出了首个大型多模态视频质量评估模型(LMM-VQA)，通过将质量回归问题重新表述为问答任务，并设计时空视觉编码器来提取空间和时间特征，从而提高VQA的性能。实验结果表明，LMM-VQA在五个VQA基准测试中达到了最先进的性能，展现出5%的泛化能力提升。
发现论文，激发创造
  • KonVid-150k: 野外视频无参考质量评估数据集

    我们介绍了一个新的数据集KonVid-150k，提出了一种新的高效的VQA方法（MLSP-VQA），与现有的深度学习方法和基于手工特征的方法相比，它在标准性能指标方面表现得最好，能够应对不同级别的标签噪声和数据集大小，并在跨数据集上设置了新的准确度记录。

    Dec, 2019

  • Patch-VQ: 解决视频质量问题

    该研究着重探讨了无参考视觉质量评估（NR VQA）问题，研究创建了包含39,000个失真视频和117,000个空时定位视频片段的最大人类感知质量评价数据库，以及两种独特的NR-VQA模型，并实现了在不同UGC数据集上的最先进性能，具有非常好的实践应用前景。

    Nov, 2020

  • FAST-VQA: 基于片段采样的高效端到端视频质量评估

    提出了一种新的质量保留采样方案Grid Mini-patch Sampling (GMS)，并使用 Fragment Attention Network (FANet) 和新提出的FrAgment Sample Transformer for VQA (FAST-VQA) 实现了高效的端到端深度视频质量评估。

    Jul, 2022

  • Zoom-VQA: 基于块、帧和片段的视频质量评估

    本论文提出一种名为Zoom-VQA的视频质量评估体系架构，将视频分为三个层次并整合了三个组件（patch attention module、frame pyramid alignment 和 clip ensemble strategy），以从不同层次感知时空特征。该方法在四个VQA基准测试中达到了最先进的结果，并在LSVQ的两个子集上优于以前的最佳结果。

    Apr, 2023

  • Light-VQA: 低光视频增强的多维质量评估模型

    通过构建 LLVE-QA 数据集并提出 Light-VQA 模型，本文针对 UGC 视频中的低照度造成视觉下降问题，同时考虑视觉质量评估方法，提供了一种基于特征融合的新型解决方案，该模型在 LLVE-QA 数据集和公共数据集上表现出最好的性能。

    May, 2023

  • 实现现场视频质量评估的可解释性方法：数据库和基于语言提示的方法

    本文讨论了在各种因素的干扰下，如何对自然视频的视频质量进行评估，构建了Maxwell数据库，并提出了MaxVQA，一种基于Vision-Language模型的视频质量评估方法。

    May, 2023

  • 通过简化视频质量模型的设计分析视频质量数据集

    通过设计简约的BVQA模型，我们对VQA数据集进行计算分析，发现几乎所有数据集都存在易的数据集问题，并对基本构建模块的选择进行研究，对当前BVQA进展表示疑虑，并为构建下一代VQA数据集和模型提供了指导。

    Jul, 2023

  • 捕捉用户生成内容中共存的失真以进行无引用视频质量评估

    视频质量评估的挑战在于解决用户生成内容视频中存在的严重失真导致整体视觉质量下降的问题，提出了Visual Quality Transformer (VQT)方法，并通过实验证明了其优于其他方法的性能。

    Jul, 2023

  • PTM-VQA: 从各个方面利用多样化的预训练模型来进行高效视频质量评估

    本文介绍了一种名为PTM-VQA的视频质量评估方法，利用预训练模型从不同方面为VQA带来益处，并提出了ICID损失和有效的候选模型选择方案，实验证明了该方法的有效性。

    May, 2024

  • Q-Bench-Video：视频质量理解的基准测试

    本研究针对大模态模型（LMMs）在视频质量理解方面的不足，通过引入Q-Bench-Video基准，系统评估其识别视频质量的能力。研究采用多样的视频源和新的评估维度，发现LMMs对视频质量的理解存在显著的差距，强调了进一步研究的重要性。

    Sep, 2024