Feb, 2019

基于事件触发的视频帧合成

PDF
TL;DR提出了一个高帧率的 TVFS 框架，该框架利用来自低速基于帧的传感器和高速事件传感器的混合输入数据，融合了两种不同的数据模式，并统一了各种 TVFS 任务，即插值、预测和运动去模糊，采用自动微分对梯度进行反向传播，实验结果表明与现有技术相比性能更佳。其次，采用深度学习策略增强了第一步结果，提出了一种残差 “去噪” 方法，展现了处理具有挑战性场景的能力，包括快速运动和强烈遮挡。
发现论文，激发创造
  • TimeLens：事件驱动的视频帧插值

    该研究介绍了一种将基于合成和基于流的方法结合使用的新方法 Time Lens，通过采用事件相机技术来消除场景中高动态的影响，并在多个基准测试中提高了 5.21 dB 的峰值信噪比。

    Jun, 2021

  • 重新审视基于事件的视频帧插值

    利用动态视觉传感器或事件相机进行视频帧插值，结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略，可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。

    Jul, 2023

  • 高帧率跟踪的帧 - 事件对齐与融合网络

    该论文提出了使用多模方式结合 RGB-based trackers 和 event-based cameras 进行 high frame rate tracking 的方法，并应用 multi-modality alignment 和 fusion modules 对两种模式的信息进行融合。在 FE240hz 数据集上，该方法表现优异，实现了高达 240Hz 的高帧率追踪。

    May, 2023

  • 基于事件的稀疏事件补全的扩散 - 细化方法

    通过基于扩散的生成模型以及维护原始数据的时间分辨率等方法，我们提出了一种创新的事件序列补全方法，发掘事件相机的全部潜力，并生成高质量的密集事件，从而有利于目标分类和强度帧重建。

    Jan, 2024

  • V2CE: 视频到连续事件模拟器

    利用 Dynamic Vision Sensor（DVS）从多个角度进行视频到事件流转换的新方法，并通过严格的验证证明了其当前为最先进技术。

    Sep, 2023

  • 基于事件的移动物体检测与跟踪

    本文提出了一种基于动态视觉传感器的异步相机的新颖跟踪算法，该算法可以在极低光和噪声条件下，无需任何外部传感器，且无需任何特征跟踪或显式光流计算即可检测和跟踪不同移动对象。

    Mar, 2018

  • 基于翻译的视频合成

    以图像转换为基础的视频合成（TVS）作为计算机视觉中的一个关键研究领域，旨在在保持时间连续性和基础特征的同时促进视频在不同领域之间的转换。本文通过全面回顾最新进展，深入研究新兴方法和机制，阐明了有效视频合成的基本概念。同时，它还探讨了它们的优点、局限性、适用应用和未来发展的潜在方向。

    Apr, 2024

  • 学习时空隐式神经表示以进行事件引导的视频超分辨率

    本文提出一种新的方法，利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复，实验结果表明，该方法显著超过以往技术。

    Mar, 2023

  • Time Lens++：使用参数非线性流和多尺度融合进行基于事件的帧插值

    本文提出了基于多尺度特征融合技术和一次非线性帧间运动计算的视频帧插值方法，利用新型实验装置捕捉深度变化的 100 多个具有挑战性的场景，对比实验表明我们的方法在 PSNR 和 LPIPS 得分上分别提高了 0.2dB 和 15%。

    Mar, 2022

  • 基于事件的运动去模糊和帧插值的统一

    该研究提出了一种基于事件感知的运动去模糊和帧插值的统一框架，该框架使用事件的超低延迟来缓解运动模糊并实现中间帧预测，后者可通过可学习的双重积分网络和融合网络实现。借助相邻模糊输入和同时发生的事件的信息，进一步提出了自监督学习框架，以实现对真实世界模糊视频和事件的网络训练。大量实验结果表明，该方法在合成和真实世界数据集上均取得了显著的性能优势，是一种有效的去模糊技术方案。

    Mar, 2022