Aug, 2023

UGC 质量评估：深度基于特征的质量评估中的显著性影响探索

PDF
TL;DR近年来，用户生成的内容（UGC）的数量增加了。这种类型的内容的挑战在于评估其质量。本文探讨了提取 / 组合自然场景统计和深度神经网络特征的最新度量标准，并尝试通过引入显著性地图来改善可感知性。我们使用公共数据集 YouTube-UGC 和 KoNViD-1k 对模型进行训练和测试。初步结果表明，仅使用深度特征可以实现较高的相关性，而添加显著性并不总是提升性能。我们的结果和代码将公开提供，以供研究社区使用，并可在我们的项目页面中找到：this https URL。
user generated contentmetricsperceptual qualitysaliency mapsdeep neural network features
发现论文，激发创造
  • 基于深度学习的 UGC 视频无参考质量评估模型

    本文提出了一种简单有效的 UGC 视频质量评估模型，通过训练端到端的空间特征提取网络直接从视频帧像素中学习感知质量的空间特征表示，并提取运动特征来度量空间特征无法建模的时间相关失真。

    Apr, 2022

  • 基于多尺度深度特征的视觉显著性

    本文介绍了使用卷积神经网络进行图像视觉显著性建模的方法，采用新的神经网络结构和改进的空间相关性方法，同时使用多重分割提高了性能，实验表明我们提出的方法在公共基准测试中的表现优于目前已发表的最先进技术。

    Mar, 2015

  • AIS 2024 用户生成内容视频质量评估挑战：方法与结果

    该论文综述了 AIS 2024 视频质量评估（VQA）挑战，着重于用户生成内容（UGC）。该挑战旨在收集能够估计 UGC 视频感知质量的基于深度学习的方法。挑战中的用户生成视频来自 YouTube UGC 数据集，包括多样的内容（体育、游戏、歌词、动漫等）、质量和分辨率。提出的方法必须在 1 秒内处理 30 个 FHD 帧。在挑战中，共有 102 位参与者注册，其中 15 人提交了代码和模型。本文回顾了前 5 个提交的性能，并提供了对用户生成内容高效视频质量评估的各种深度模型的调查。

    Apr, 2024

  • UGC-VQA：用户生成内容盲视频质量评估基准

    通过在视频质量评估领域进行广泛的评估，该论文提出了一种新的基于融合的视频质量评估模型 VIDEVAL，有效平衡了 VQA 性能和效率，并在考虑了更少的统计特征（即 60 个统计特征）的情况下取得了最先进的性能。

    May, 2020

  • 基于多尺度深度 CNN 特征的视觉显著性检测

    本研究采用深度卷积神经网络来提取多尺度特征，实现了高质量的图像显著性模型，另外还结合了手工特征，取得了很好的效果，提供了一个相应的实验数据集。

    Sep, 2016

  • UGC-VIDEO：用户生成视频的感知质量评估

    为了便于对 UGC 视频质量进行评估，我们创建了一个 UGC 视频质量评估数据库，其中包含 50 个源视频以及由不同量化级别和编码标准压缩生成的多个失真版本。我们进行了主观质量评估，并对数据库进行了基准测试，观察到未来改进 UGC 视频质量测量方法的潜在空间。

    Aug, 2019

  • 用于视频压缩研究的 YouTube UGC 数据集

    该论文介绍了一个大规模的 UGC 数据集，讨论了在此场景下的压缩和质量评估的挑战并针对 UGC 的缺陷提出了无参考客观质量指标来评估 UGC 质量，通过三种这样的指标 (噪音、细节和颜色斑点，以及感知失真预估) 评估了所提供的 UGC 数据集。

    Apr, 2019

  • YouTube UGC 数据集的主观质量评估

    研究使用众包平台收集用户主观评价数据，分析视频质量评估的各种维度，并调查全视频 MOS 及相应块的 MOS 之间的相关性，以及品质评分聚合中块变化的影响。

    Feb, 2020

  • 知识引导的半监督学习用于用户生成视频的质量评估

    本研究通过自我监督的时空视觉质量表示学习 (ST-VQRL) 框架生成稳健的质量感知特征来解决用户生成内容 (UGC) 视频的感知质量评估问题，并通过双模型的半监督学习方法 (SSL-VQA) 在有限的人工注释视频的情况下，通过两个模型之间的质量预测知识传递，提高了在各种视频质量评估数据集上的性能表现。

    Dec, 2023

  • 连接显著性预测与图像质量评估之间的差距

    过去几年中，深度神经模型在图像质量评估 (IQA) 方面取得了显著进展，但由于深度神经网络的复杂性，其成功的原因仍不清楚。本文通过进行实证研究揭示了 IQA 和 Saliency Prediction 任务之间的关系，证明了前者包含了后者的知识，并引入了一个新颖的 SACID 数据集进行大规模的经典和基于神经网络的 IQA 方法比较。

    May, 2024