ST-GREED:基于时空广义熵差的帧率相关视频质量预测
该论文提出一种适用于高帧率视频的新型盲视频质量评估模型 FAVER,该模型使用了空时小波分解和空间自然场景统计等技术,针对帧率变化进行快速预测,并在多个数据集上进行了测试验证,性能得到了明显提升。
Jan, 2022
近年来,深度生成模型在图像合成方面取得了可观的进展,但在视频领域的学习则更为困难,需要模型同时捕获场景的时间动态和对象的视觉呈现。该研究提出了用于评价视频生成模型的新评价度量 - Fréchet Video Distance,并提供了基于 StarCraft 2 的新的视频生成模型挑战基准进行了大规模的人体研究和初始基准结果。
Dec, 2018
探索 Fréchet Video Distance(一种评估视频生成模型的优秀指标)对每帧质量和时域真实度的偏向程度,并确定其来源;通过解耦帧质量和运动质量,量化 FVD 对时域轴的敏感性,发现 FVD 在大的时域损坏下略微增加;通过精心从不包含运动的大量生成视频中进行采样,显示能够显著减少 FVD 而不改善时域质量;研究表明 FVD 偏向于个别帧的质量;观察到偏向可以归因于从内容偏向数据集训练的受监督视频分类器提取的特征;结果显示使用最近的大规模自监督视频模型提取的特征的 FVD 对图像质量偏向较小;最后,通过验证我们的假设,重新审视了一些现实世界的例子。
Apr, 2024
本文提出了一种强大的熵模型,能够高效地捕捉视频中的空间和时间依赖关系,使用潜在先验来减少时间冗余,使用双重空间先验来并行地减少空间冗余。此外,该熵模型还具有内容自适应量化机制,有助于编解码器实现平滑的速率调整,并通过动态位分配改善最终的速率失真性能。实验结果表明,使用该熵模型作为支撑,与最高压缩比配置下的 H.266(VTM)相比,我们的神经编解码器可以在 UVG 数据集上实现 18.2% 的比特率节省,这是神经视频编解码器发展的新里程碑。
Jul, 2022
该研究提出了一种无参考视频质量评估方法,通过学习空间 - 时间域内的有效特征表示,结合高斯分布约束和金字塔时间聚合模块等方法,达到跨内容、分辨率和帧率的高泛化能力。实验表明,该方法在跨数据集设置方面优于现有方法,在内部数据集配置方面的性能相当,展示了该方法的高泛化能力。
Dec, 2020
视频质量评估的挑战在于解决用户生成内容视频中存在的严重失真导致整体视觉质量下降的问题,提出了 Visual Quality Transformer (VQT) 方法,并通过实验证明了其优于其他方法的性能。
Jul, 2023
通过人体研究,我们设计了一个包含 480 个视频、6 种不同的帧率和 5 种不同的压缩级别的 客观资源池,以了解高帧率视频与感知视频质量之间的关系,并且评估了现有的全参考和无参考视频质量算法在此新数据集上的表现。
Jul, 2020
本文提出了一种简单有效的 UGC 视频质量评估模型,通过训练端到端的空间特征提取网络直接从视频帧像素中学习感知质量的空间特征表示,并提取运动特征来度量空间特征无法建模的时间相关失真。
Apr, 2022
本文提出了一种通过建模帧之间的条件熵来进行视频压缩的方法,与以往的学习方法不同,我们假设每个帧都使用一个独立的先进深度图像压缩器进行编码。我们的方法在保证解码速度的前提下,在高比特率的 UVG 视频中优于 H.265 和其他深度学习基线,在低帧率下优于所有视频编解码器,同时比使用自回归熵模型的深度模型解码速度快数千倍。
Aug, 2020