May, 2023

IDO-VFI: 基于光流引导的动态识别用于事件驱动视频帧插值

PDF
TL;DR本文介绍了利用事件相机和基于事件的光流估计算法结合的方法，来提高视频插帧的准确度和效率。
发现论文，激发创造
  • 重新审视基于事件的视频帧插值

    利用动态视觉传感器或事件相机进行视频帧插值，结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略，可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。

    Jul, 2023

  • 从模拟到真实：基于事件的通用低光帧插值与每场景优化

    提出一种针对低光照条件下事件相机的视频帧插值的优化策略，利用场景的内部统计信息来处理低光照条件下退化的事件数据，提高对不同光照和相机设置的泛化能力。

    Jun, 2024

  • 基于事件的视频帧插值与边缘引导的运动细化

    利用事件相机和边缘特征来提高视频帧插值的质量。

    Apr, 2024

  • 事件驱动各向异性光流插值

    本文提出了一种基于事件驱动的非各向同性光流调整的端到端训练方法 A ^ 2OF，以建模两帧之间的复杂运动，这种方法在视频帧插值方面的性能优于之前的方法，将监督式事件驱动视频插值推向了更高的阶段。

    Aug, 2022

  • 使用事件相机进行单张图像的光流估计

    该研究探讨了如何利用事件相机和模糊图像进行光流估计，提出了一种基于事件相机和模糊图像的光流估计算法，并通过实验验证了该算法的优越性。

    Apr, 2020

  • 研究事件相机在体育视频帧插值中的应用

    本研究首次调查了事件驱动视频帧插值模型在生成体育慢镜头视频方面的应用，通过设计和实现双摄像头录制系统，使用普通摄像头和事件驱动摄像头进行时间对齐和空间注册，并通过实验证明 TimeLens 等事件驱动视频帧插值模型能有效生成体育慢镜头视频，从而凸显了事件驱动摄像头在生成体育慢镜头内容方面的实际效用，为未来在该领域的研究努力奠定了基础。

    Jul, 2024

  • 使用立体事件和强度相机进行视频帧插值

    本文提出了一种新的立体事件驱动视频帧插值（SE-VFI）网络（SEVFI-Net），通过特征聚合模块（FAM）解决交叉模态视差，利用融合特征实现精确的光流和视差估计，并通过基于流和基于合成的方式实现更好的插值结果。同时，作者构建了一个由事件相机和 RGB-D 相机组成的立体视觉采集系统，收集了一个新的立体事件强度数据集（SEID），实验证明 SEVFI-Net 在公共真实世界立体数据集（DSEC 和 MVSEC）和作者的 SEID 数据集上优于现有方法。

    Jul, 2023

  • 通过动态自适应提升视频帧插值能力

    本文提出了一种基于优化的视频帧插值方法，该方法利用循环一致性自适应策略，结合现有预训练的插值模型中的运动估计模块，以适应测试时的未见过的运动，实现提升性能。经过各种基准测试的详尽实验表明，该方法可以提升两帧插值模型的性能，优于现有最先进的方法，即使它们使用额外的输入。

    Jun, 2023

  • 运动感知视频帧插帧

    该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络，通过引入新颖的分层金字塔模块，直接估计相邻帧之间的中间光流，从而解决了现有方法在复杂场景（包括遮挡和不连续运动）中易产生图像模糊和伪影的问题，并有效降低了计算成本和复杂性。实验证明，该方法在多个数据集上超越了几种代表性的视频帧插值方法，既提高了效率又保持了良好的准确性。

    Feb, 2024

  • TimeLens：事件驱动的视频帧插值

    该研究介绍了一种将基于合成和基于流的方法结合使用的新方法 Time Lens，通过采用事件相机技术来消除场景中高动态的影响，并在多个基准测试中提高了 5.21 dB 的峰值信噪比。

    Jun, 2021