视频帧插入的感知质量度量
本文主要针对视频帧插值的质量评价这一研究领域进行了主观评价研究,并提出了迫切需要开发一种专门的感知质量评价标准,结果表明常见的质量评价指标不能很好地与插值内容的感知质量相关联,需要发展更精准的指标。
Feb, 2022
我们提出了一个基准测试,通过利用计算它们的提交网站建立一致的误差度量,通过分析插值质量与各种像素属性(如运动幅度)的关系来提供见解,并通过利用合成数据坚持线性假设来设计精心设计的测试集,并以一致的方式评估计算效率。
Mar, 2024
通过提取 HVS 的视频感知表示,并通过测量其在感知领域中的表示方式的直线程度和紧凑性来量化视频的自然度和内容连续性,我们提出了一种评估视频临时失真的 TPQI 指标,并证明它对任何数据集都有可申请性,即使在评估具有大的时间变化的视频时也有适用性,TPQI 可以实现与空间质量度量相当的性能甚至更加有效的评估。
Jul, 2022
本文研究了基于深度神经网络的知觉度量,用于评估图像质量,提出了一种多分辨率知觉量度(MR-Perceptual),在不同分辨率上聚合知觉信息,并在不同图像畸变的 IQ 任务中表现优于标准知觉量度。
Feb, 2022
本研究提出一种真正的多帧插值器,它利用时间域的金字塔式网络一次性完成多帧插值任务,并使用放松的损失函数流估计过程和先进的基于三次样条的运动模型以提高插值精度,结果表明在 Adobe240 数据集上,所提出的方法生成视觉上令人满意的、时间上一致的帧,比当前最佳的即席方法在 PSNR 上提高 1.57db,模型体积减小 8 倍,速度快了 7.7 倍,并且可以轻松扩展以插入大量新的帧.
Jul, 2020
探索 Fréchet Video Distance(一种评估视频生成模型的优秀指标)对每帧质量和时域真实度的偏向程度,并确定其来源;通过解耦帧质量和运动质量,量化 FVD 对时域轴的敏感性,发现 FVD 在大的时域损坏下略微增加;通过精心从不包含运动的大量生成视频中进行采样,显示能够显著减少 FVD 而不改善时域质量;研究表明 FVD 偏向于个别帧的质量;观察到偏向可以归因于从内容偏向数据集训练的受监督视频分类器提取的特征;结果显示使用最近的大规模自监督视频模型提取的特征的 FVD 对图像质量偏向较小;最后,通过验证我们的假设,重新审视了一些现实世界的例子。
Apr, 2024
本文介绍了一个整合了难度评估和视频帧插值的管道,该管道首先利用先前评估模型对输入帧的插值难度级别进行量化,然后动态选择适当的插值模型生成插值结果,极大地提高了视频帧插值的准确度和效率。
Apr, 2023
本文是一篇关于计算机视觉中视频插帧的研究,提出了一种基于不确定帧率和曝光时间的一般情况下视频插帧问题的解决方案。使用四个连续的清晰帧或两个连续的模糊帧,通过得出一般曲线运动轨迹公式的方法解决了现有视频帧插值方法只适用于特定时间先验的问题,并通过相邻运动轨迹中的约束定义了一种新的光流细化策略以提高插值结果。实验表明,一个训练良好的模型足以在复杂的实际情况下合成高质量的慢动作录像。
Dec, 2021
该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络,通过引入新颖的分层金字塔模块,直接估计相邻帧之间的中间光流,从而解决了现有方法在复杂场景(包括遮挡和不连续运动)中易产生图像模糊和伪影的问题,并有效降低了计算成本和复杂性。实验证明,该方法在多个数据集上超越了几种代表性的视频帧插值方法,既提高了效率又保持了良好的准确性。
Feb, 2024