Dec, 2023

RankDVQA-mini: 知识蒸馏驱动的深度视频质量评估

PDF
TL;DR通过使用剪枝驱动的模型压缩和多层级知识蒸馏的两阶段工作流程，我们成功地显著减小了排名型深度视频质量评估方法 RankDVQA 的模型大小和运行时间，得到了一个轻量级的质量度量指标 RankDVQA-mini，其参数量不到原始版本的 10%（FLOPs 为原版本的 14%），但在质量预测性能上超过了大部分现有的深度视频质量评估方法。
发现论文，激发创造
  • 通过简化视频质量模型的设计分析视频质量数据集

    通过设计简约的 BVQA 模型，我们对 VQA 数据集进行计算分析，发现几乎所有数据集都存在易的数据集问题，并对基本构建模块的选择进行研究，对当前 BVQA 进展表示疑虑，并为构建下一代 VQA 数据集和模型提供了指导。

    Jul, 2023

  • 卷积神经网络用于视频质量评估

    本文介绍一种基于深度学习框架的视频质量评估方法，综合考虑了压缩失真和传输延迟，通过端到端特征学习，可提高视频内容传输机制 VQA 的准确性。

    Sep, 2018

  • TinyVQA: 资源受限设备上用于视觉问答的紧凑多模态深度神经网络

    本文提出了 TinyVQA，一种用于资源受限的小型机器学习硬件上运行的视觉问答任务的新型多模态深度神经网络。通过使用监督式注意力模型来学习如何使用视觉和语言模态回答图像相关问题，TinyVQA 在 FloodNet 数据集上取得了 79.5％的准确率，同时在嵌入式系统上部署具有低延迟和低功耗。

    Apr, 2024

  • Ada-DQA：自适应多样质量感知特征获取用于视频质量评估

    提出了一种 Ada-DQA 框架，通过利用多样的预训练模型来捕获所生成的与质量相关的特征，以及使用有标签的质量分数和学习的质量表示作为辅助监督信息，以引导相对较轻的 VQA 模型的训练，从而在知识蒸馏的方式下大大减少推理期间的计算成本。

    Aug, 2023

  • RMT-BVQA：基于循环记忆变换器的盲视频质量评估方法，用于增强视频内容

    提出一种针对增强视频内容的新型盲目深度视频质量评估 (VQA) 方法，其利用基于新数据库的新颖内容质量感知对比学习策略及经过优化的具有内容感知的 RMT 网络架构获取视频质量表示，并通过线性回归将提取的质量表示组合成视频级质量指数。实验证明，与十个现有的无参考质量指标相比，所提方法 RMT-BVQA 在 VDPVE 数据库上表现出优异的相关性能。

    May, 2024

  • DistilDoc: 视觉内容丰富文档应用的知识蒸馏

    针对视觉丰富的文档应用（如文档布局分析和文档图像分类），本文探讨了知识蒸馏（KD）。通过设计一种 KD 实验方法，我们研究了不同架构和容量的骨干模型之间的知识传递策略对教师 - 学生知识差距的影响，并发现一些方法可以始终优于监督学生训练。此外，我们设计了下游任务设置，评估了蒸馏的布局分析模型在零样本布局感知文档视觉问答上的鲁棒性，结果表明存在较大的知识差距，强调进一步探索如何高效获得更多的语义文档布局意识的必要性。

    Jun, 2024

  • 基于深度学习的 UGC 视频无参考质量评估模型

    本文提出了一种简单有效的 UGC 视频质量评估模型，通过训练端到端的空间特征提取网络直接从视频帧像素中学习感知质量的空间特征表示，并提取运动特征来度量空间特征无法建模的时间相关失真。

    Apr, 2022

  • 混合数据集下野外视频的统一质量评估培训

    在计算机视觉中，我们提出了一种用于自动评估野外采集视频质量的混合数据集训练策略，并探索了人类视觉系统的内容依赖性和时间记忆效应。实验结果表明，该模型在相对质量、感知质量和主观质量预测方面具有卓越性能，与现有最先进的模型相比，提高了 VQA 性能的成功率。

    Nov, 2020

  • 通过品质感知预训练和运动感知盲目评估野外视频的质量

    本文提出了一种模型基础的迁移学习方法，旨在将知识从图像质量评估（IQA）数据库和大规模的行为识别中传输到目标视频质量评估（VQA）数据库。该方法使用混合的列表排序损失函数进行训练，并在六个数据库上进行广泛的实验以验证其有效性。

    Aug, 2021

  • PTM-VQA: 从各个方面利用多样化的预训练模型来进行高效视频质量评估

    本文介绍了一种名为 PTM-VQA 的视频质量评估方法，利用预训练模型从不同方面为 VQA 带来益处，并提出了 ICID 损失和有效的候选模型选择方案，实验证明了该方法的有效性。

    May, 2024