Nov, 2023

CLiF-VQA：利用与人类情感相关的高级语义信息增强视频质量评估

PDF
TL;DR本论文介绍了一种新的视频质量评估方法 CLiF-VQA，该方法考虑了与人类感受相关的特征和视频的空间特征，通过利用 CLIP 与人类感受之间的一致性，设计了多个客观和主观描述，提取与人类感受相关的特征。通过一个空间特征提取模块，还捕捉了视频的低级特征，并将这两种不同特征聚合以获得视频的质量评分。广泛的实验证明，所提出的 CLiF-VQA 在多个视频质量评估数据集上表现出色。
video quality assessmentclif-vqahuman feelingsclipspatial features
发现论文，激发创造
  • 面向野外视频质量评估的鲁棒性文本提示语义标准

    提出了一种基于文本的语义相关质量评价方法 (SAQI) 及其本地化版本 (SAQI-Local)。通过与现有低级指标结合，提出了统一盲视频质量指数 (BVQI) 及其改进版 (BVQI-Local)，并通过有效的微调方案，实现了优于普遍基于人类意见的 VQA 方法的性能和卓越的泛化能力。

    Apr, 2023

  • Zoom-VQA: 基于块、帧和片段的视频质量评估

    本论文提出一种名为 Zoom-VQA 的视频质量评估体系架构，将视频分为三个层次并整合了三个组件（patch attention module、frame pyramid alignment 和 clip ensemble strategy），以从不同层次感知时空特征。该方法在四个 VQA 基准测试中达到了最先进的结果，并在 LSVQ 的两个子集上优于以前的最佳结果。

    Apr, 2023

  • 卷积神经网络用于视频质量评估

    本文介绍一种基于深度学习框架的视频质量评估方法，综合考虑了压缩失真和传输延迟，通过端到端特征学习，可提高视频内容传输机制 VQA 的准确性。

    Sep, 2018

  • SB-VQA: 基于堆栈的视频质量评估框架用于视频增强

    我们提出了一种基于堆栈的视频质量评估 (VQA) 框架，可以更准确地基于人类主观感知预测增强视频的视频质量，并考虑了视频语义理解等因素，进而在 YouTube 视频等多种应用场景中得到了广泛应用。

    May, 2023

  • 基于深度学习的 UGC 视频无参考质量评估模型

    本文提出了一种简单有效的 UGC 视频质量评估模型，通过训练端到端的空间特征提取网络直接从视频帧像素中学习感知质量的空间特征表示，并提取运动特征来度量空间特征无法建模的时间相关失真。

    Apr, 2022

  • 探索 CLIP 用于评估图像外观和感觉

    本文介绍了如何利用 CLIP 模型中的丰富视觉语言先验，以零样本方式评估图像的质量感受和抽象感知，实验结果表明 CLIP 具有很好的泛化能力。

    Jul, 2022

  • 面部视频压缩的感知质量评估：基准和有效方法

    本文介绍了大规模压缩人脸视频质量评估数据库的构建和性能评估，该数据库被认为是系统地理解人脸视频中感知质量和多样化压缩畸变的第一次尝试，同时还开发了 FAVOR 指数来度量人脸视频的感知质量。

    Apr, 2023

  • AIS 2024 用户生成内容视频质量评估挑战：方法与结果

    该论文综述了 AIS 2024 视频质量评估（VQA）挑战，着重于用户生成内容（UGC）。该挑战旨在收集能够估计 UGC 视频感知质量的基于深度学习的方法。挑战中的用户生成视频来自 YouTube UGC 数据集，包括多样的内容（体育、游戏、歌词、动漫等）、质量和分辨率。提出的方法必须在 1 秒内处理 30 个 FHD 帧。在挑战中，共有 102 位参与者注册，其中 15 人提交了代码和模型。本文回顾了前 5 个提交的性能，并提供了对用户生成内容高效视频质量评估的各种深度模型的调查。

    Apr, 2024

  • 知识引导的半监督学习用于用户生成视频的质量评估

    本研究通过自我监督的时空视觉质量表示学习 (ST-VQRL) 框架生成稳健的质量感知特征来解决用户生成内容 (UGC) 视频的感知质量评估问题，并通过双模型的半监督学习方法 (SSL-VQA) 在有限的人工注释视频的情况下，通过两个模型之间的质量预测知识传递，提高了在各种视频质量评估数据集上的性能表现。

    Dec, 2023

  • 融合音频、文本和视觉特征进行新闻视频情感分析

    该论文提出了一种新颖的方法来执行新闻视频的情感分析，基于从内容中提取的音频、文字和视觉线索的融合。该方法旨在为构建媒体宇宙的 ethos（身份）的 semiodiscoursive 研究做出贡献，我们计算了从面部表情中识别出的视觉强度、参与者的声音调制、文本语音和情感得分（极性）。实验结果显示，该方法在情感分类任务中达到了高达 84％的准确度，因此在新闻界中具有极高的应用潜力。

    Apr, 2016