MMAug, 2023

Ada-DQA：自适应多样质量感知特征获取用于视频质量评估

PDF
TL;DR提出了一种 Ada-DQA 框架，通过利用多样的预训练模型来捕获所生成的与质量相关的特征，以及使用有标签的质量分数和学习的质量表示作为辅助监督信息，以引导相对较轻的 VQA 模型的训练，从而在知识蒸馏的方式下大大减少推理期间的计算成本。
video quality assessmentpretrained modelsquality representationadaptive diverse quality-aware feature acquisitionknowledge distillation
发现论文，激发创造
  • 卷积神经网络用于视频质量评估

    本文介绍一种基于深度学习框架的视频质量评估方法，综合考虑了压缩失真和传输延迟，通过端到端特征学习，可提高视频内容传输机制 VQA 的准确性。

    Sep, 2018

  • PTM-VQA: 从各个方面利用多样化的预训练模型来进行高效视频质量评估

    本文介绍了一种名为 PTM-VQA 的视频质量评估方法，利用预训练模型从不同方面为 VQA 带来益处，并提出了 ICID 损失和有效的候选模型选择方案，实验证明了该方法的有效性。

    May, 2024

  • 混合数据集下野外视频的统一质量评估培训

    在计算机视觉中，我们提出了一种用于自动评估野外采集视频质量的混合数据集训练策略，并探索了人类视觉系统的内容依赖性和时间记忆效应。实验结果表明，该模型在相对质量、感知质量和主观质量预测方面具有卓越性能，与现有最先进的模型相比，提高了 VQA 性能的成功率。

    Nov, 2020

  • 利用丰富的质量感知特征增强盲视频质量评估

    本文提出了一种简单但有效的方法来增强社交媒体视频的盲视频质量评估（BVQA）模型。通过利用来自预训练盲图像质量评估（BIQA）和 BVQA 模型的丰富质量感知特征作为辅助特征，帮助 BVQA 模型处理社交媒体视频的复杂失真和多样内容。

    May, 2024

  • 基于深度学习的 UGC 视频无参考质量评估模型

    本文提出了一种简单有效的 UGC 视频质量评估模型，通过训练端到端的空间特征提取网络直接从视频帧像素中学习感知质量的空间特征表示，并提取运动特征来度量空间特征无法建模的时间相关失真。

    Apr, 2022

  • 通过品质感知预训练和运动感知盲目评估野外视频的质量

    本文提出了一种模型基础的迁移学习方法，旨在将知识从图像质量评估（IQA）数据库和大规模的行为识别中传输到目标视频质量评估（VQA）数据库。该方法使用混合的列表排序损失函数进行训练，并在六个数据库上进行广泛的实验以验证其有效性。

    Aug, 2021

  • RankDVQA-mini: 知识蒸馏驱动的深度视频质量评估

    通过使用剪枝驱动的模型压缩和多层级知识蒸馏的两阶段工作流程，我们成功地显著减小了排名型深度视频质量评估方法 RankDVQA 的模型大小和运行时间，得到了一个轻量级的质量度量指标 RankDVQA-mini，其参数量不到原始版本的 10%（FLOPs 为原版本的 14%），但在质量预测性能上超过了大部分现有的深度视频质量评估方法。

    Dec, 2023

  • 基于模型内协作学习的无偏置深伪造检测

    我们提出了一种通用的模型内协作学习框架，实现了对不同质量的 Deepfake 的有效和同时检测，称为 QAD 模型。通过观察普通误差期望的上限，通过 Hilbert-Schmidt 独立准则最大化不同质量级别的图像的中间表示之间的依赖关系。此外，我们还精心设计了对抗性权重扰动模块，使得模型在提升整体性能的同时更加稳健，能够抵抗图像的损坏。对七个流行的 Deepfake 数据集进行了大量实验证明了我们 QAD 模型超越了之前的 SOTA 基准。

    Sep, 2023

  • 使用隐藏空间增强和自监督对比适应改进 QA 领域的领域适应

    本文提出了一种名为 QADA 的自监督框架，其中引入了一种新颖的数据增强管道，通过隐藏空间增强来丰富 QA 样本，引入多跳同义词和样本增强的令牌嵌入以及自定义注意抽样策略来新开发语境增强的方法，并针对 QA 领域自监督域适应，使用注意力权重建立差异估计的信息特征，帮助 QA 模型在源领域和目标领域之间分离答案并实现泛化。我们的评估显示，QADA 在 QA 领域适应的多个目标数据集上显着提高了比现有技术基线的表现。

    Oct, 2022

  • C3DVQA：基于三维卷积神经网络的全参考视频质量评估

    本文利用 3D 卷积神经网络提取时空特征以对视频帧进行全参考视频质量评估，并在 LIVE 和 CSIQ 数据集上实验，结果表明该方法达到了最先进的性能水平。

    Oct, 2019