Jun, 2024

LAVIB：一个大规模的视频插值基准

PDF
TL;DR该论文介绍了一种用于视频逐帧插值（VFI）低级视频任务的大规模视频插值基准（LAVIB）。LAVIB 由网上获取的大量高分辨率视频组成，通过自动化流程与人工验证的最小要求。对于每个视频的运动幅度，亮度条件，帧清晰度和对比度进行度量。这些度量指标所基于的视频集合和创建的定量挑战在当前低级视频任务数据集中尚未得到充分探索。总共，LAVIB 包括来自 17K 个超高清视频的 283K 个剪辑，覆盖 77.6 小时。基准培训、验证和测试集的视频度量分布相似。还为 out-of-distribution（OOD）挑战创建了进一步的拆分，其中培训和测试拆分包括具有不同属性的视频。
发现论文，激发创造
  • 视频帧插值的主观质量研究

    本文主要针对视频帧插值的质量评价这一研究领域进行了主观评价研究，并提出了迫切需要开发一种专门的感知质量评价标准，结果表明常见的质量评价指标不能很好地与插值内容的感知质量相关联，需要发展更精准的指标。

    Feb, 2022

  • AVIBench: 评估大型视觉语言模型在对抗性视觉指导下的稳健性

    评估大规模视觉 - 语言模型（LVLMs）对敌对性视觉指令的稳健性和内容偏见的重要性，引入了 AVIBench 框架，通过多模态任务和内容偏见生成各类敌对性视觉指令进行全面评估。发现现有 LVLMs 存在漏洞和内在偏见，强调提高 LVLMs 的稳健性、安全性和公平性的重要性。

    Mar, 2024

  • LADDER：一种视频帧插值的高效框架

    本研究介绍了一种有效的视频帧插值框架，通过采用深度卷积和创新的高清增强策略，实现了对视频帧处理效能和质量的平衡。

    Apr, 2024

  • XVFI: 极致视频帧插值

    本文首先呈现了一个数据集（X4K1000FPS），其中包含 1000 fps 的 4K 视频，在其中提出了一种极端的 VFI 网络，名为 XVFI-Net，可用于处理具有大运动的 4K 视频，并且基于递归多尺度共享结构，由两个级联模块组成，用于学习两个输入帧之间的双向光流，以及从目标到输入帧的双向光流学习。实验结果表明，我们的 XVFI-Net 在处理具有极端运动和复杂纹理的对象时可以成功捕获其关键信息，并展现出了极高的 VFI 性能。

    Mar, 2021

  • 集成难度预估的动态视频帧插值

    本文介绍了一个整合了难度评估和视频帧插值的管道，该管道首先利用先前评估模型对输入帧的插值难度级别进行量化，然后动态选择适当的插值模型生成插值结果，极大地提高了视频帧插值的准确度和效率。

    Apr, 2023

  • VIFB: 可见光与红外图像融合基准

    本文提出了一个可用于衡量可见光和红外图像融合最新进展的代码库和基准，包含 21 对图像、20 个融合算法和 13 个评价指标，通过大规模实验确定了有效的算法，同时对该领域的现状和未来前景进行了分析。

    Feb, 2020

  • 通过动态自适应提升视频帧插值能力

    本文提出了一种基于优化的视频帧插值方法，该方法利用循环一致性自适应策略，结合现有预训练的插值模型中的运动估计模块，以适应测试时的未见过的运动，实现提升性能。经过各种基准测试的详尽实验表明，该方法可以提升两帧插值模型的性能，优于现有最先进的方法，即使它们使用额外的输入。

    Jun, 2023

  • UVEB：面向实际水下视频增强的大规模基准和基线

    通过构建第一个大规模高分辨率的水下视频增强基准 (UVEB)，我们能够更有效地促进水下视觉的发展，并且我们提出的第一个有监督的水下视频增强方法 UVE-Net 通过充分利用水下视频的降质信息，实现了更好的视频增强效果。

    Apr, 2024

  • VIBE：基于视频推导的人体姿态和形状估计

    本文提出了基于视频的身体姿态和形状估计方法 (VIBE)，利用现有的大规模运动捕捉数据集 (AMASS) 和无配对的野外 2D 关键点注释，通过对抗学习框架，利用 AMASS 区分真实人体运动和由时态姿态和形状回归网络生成的运动，得到运动检测序列，具有动力学合理性，成功地解决了基于视频的人体三维姿态估计的挑战问题。

    Dec, 2019

  • PLLaVA：基于图像到视频的无参数 LLaVA 扩展用于视频密集字幕

    通过引入一种简单但有效的汇聚策略，本文将图像 - 语言预训练模型应用于视频理解任务，并在问题回答和字幕生成等基准测试上取得了最新的最佳表现。

    Apr, 2024