Jul, 2024

研究事件相机在体育视频帧插值中的应用

PDF
TL;DR本研究首次调查了事件驱动视频帧插值模型在生成体育慢镜头视频方面的应用，通过设计和实现双摄像头录制系统，使用普通摄像头和事件驱动摄像头进行时间对齐和空间注册，并通过实验证明 TimeLens 等事件驱动视频帧插值模型能有效生成体育慢镜头视频，从而凸显了事件驱动摄像头在生成体育慢镜头内容方面的实际效用，为未来在该领域的研究努力奠定了基础。
发现论文，激发创造
  • 从模拟到真实：基于事件的通用低光帧插值与每场景优化

    提出一种针对低光照条件下事件相机的视频帧插值的优化策略，利用场景的内部统计信息来处理低光照条件下退化的事件数据，提高对不同光照和相机设置的泛化能力。

    Jun, 2024

  • TimeReplayer: 发掘事件相机在视频插值中的潜力

    本篇论文提出了 TimeReplayer 算法，利用 event camera 和 commodity camera 的视频数据，在无需大量高速训练数据的情况下通过无监督循环一致性学习方式，实现了视频插值和外推，具有超前的效果。

    Mar, 2022

  • IDO-VFI: 基于光流引导的动态识别用于事件驱动视频帧插值

    本文介绍了利用事件相机和基于事件的光流估计算法结合的方法，来提高视频插帧的准确度和效率。

    May, 2023

  • 使用立体事件和强度相机进行视频帧插值

    本文提出了一种新的立体事件驱动视频帧插值（SE-VFI）网络（SEVFI-Net），通过特征聚合模块（FAM）解决交叉模态视差，利用融合特征实现精确的光流和视差估计，并通过基于流和基于合成的方式实现更好的插值结果。同时，作者构建了一个由事件相机和 RGB-D 相机组成的立体视觉采集系统，收集了一个新的立体事件强度数据集（SEID），实验证明 SEVFI-Net 在公共真实世界立体数据集（DSEC 和 MVSEC）和作者的 SEID 数据集上优于现有方法。

    Jul, 2023

  • 重新审视基于事件的视频帧插值

    利用动态视觉传感器或事件相机进行视频帧插值，结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略，可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。

    Jul, 2023

  • TimeLens：事件驱动的视频帧插值

    该研究介绍了一种将基于合成和基于流的方法结合使用的新方法 Time Lens，通过采用事件相机技术来消除场景中高动态的影响，并在多个基准测试中提高了 5.21 dB 的峰值信噪比。

    Jun, 2021

  • 基于事件的视频帧插值与边缘引导的运动细化

    利用事件相机和边缘特征来提高视频帧插值的质量。

    Apr, 2024

  • 基于事件的运动去模糊和帧插值的统一

    该研究提出了一种基于事件感知的运动去模糊和帧插值的统一框架，该框架使用事件的超低延迟来缓解运动模糊并实现中间帧预测，后者可通过可学习的双重积分网络和融合网络实现。借助相邻模糊输入和同时发生的事件的信息，进一步提出了自监督学习框架，以实现对真实世界模糊视频和事件的网络训练。大量实验结果表明，该方法在合成和真实世界数据集上均取得了显著的性能优势，是一种有效的去模糊技术方案。

    Mar, 2022

  • 通过动态自适应提升视频帧插值能力

    本文提出了一种基于优化的视频帧插值方法，该方法利用循环一致性自适应策略，结合现有预训练的插值模型中的运动估计模块，以适应测试时的未见过的运动，实现提升性能。经过各种基准测试的详尽实验表明，该方法可以提升两帧插值模型的性能，优于现有最先进的方法，即使它们使用额外的输入。

    Jun, 2023

  • 10K FPS 的事件增强快照压缩摄影

    通过结合事件相机和视频快照压缩成像技术，提出了一种新颖的混合 “强度 + 事件” 成像方案，利用双路径光学系统记录编码强度测量和中间事件信号，通过双分支 Transformer 解码密集视频帧，实现了以 0.1 毫秒时间间隔进行高质量的快照压缩成像。

    Apr, 2024