Mar, 2020

使用事件相机学习去模糊及生成高帧率视频

PDF
TL;DR本研究通过构建新的神经网络结构，使用事件相机实现了高清无暇的图像和视频的生成，并将故障模糊问题转化为残差学习的任务来有效地进行训练。实验结果表明，该方法可以比现有技术更好地还原图像和视频。
event camerastemporal resolutiondeblurringresidual learninghigh frame rate video generation
发现论文，激发创造
  • 基于事件的动态模糊矫正学习

    本文提出了一种基于事件相机的深度学习方法，通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识，提取边界先验信息，从而达到了恢复运动模糊图像的最佳质量，适用于真实世界的运动模糊问题。

    Apr, 2020

  • 基于事件融合的跨模态注意力运动去模糊

    本文利用事件相机记录图像信息的方式，提出了一种端到端的双阶段图像复原神经网络，设计了一个跨模态注意力模块来有效地融合事件与图像特征，同时引入了一种新的对称累积事件表示和事件掩膜门控连接，提出了一个 REBlur 数据集和 EFNet 模型用于事件运动模糊的去除，实验结果表明本文提出的方法优于之前 image-based 方法和所有已有的 public events-based 方法。

    Nov, 2021

  • 基于事件的运动去模糊和帧插值的统一

    该研究提出了一种基于事件感知的运动去模糊和帧插值的统一框架，该框架使用事件的超低延迟来缓解运动模糊并实现中间帧预测，后者可通过可学习的双重积分网络和融合网络实现。借助相邻模糊输入和同时发生的事件的信息，进一步提出了自监督学习框架，以实现对真实世界模糊视频和事件的网络训练。大量实验结果表明，该方法在合成和真实世界数据集上均取得了显著的性能优势，是一种有效的去模糊技术方案。

    Mar, 2022

  • 事件相机实现高速和高动态范围视频

    本文提出了一种使用循环网络从事件流中直接学习重建图像的方法，并在此基础上扩展到从事件流合成彩色图像的方法，实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建，并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。

    Jun, 2019

  • 事件增强高质量图像恢复

    本文提出了一种可解释的网络，即基于事件增强的稀疏学习网络 (eSL-Net)，用于从事件相机中恢复高质量图像，并通过稀疏学习框架共同考虑事件和低分辨率强度观测，经过合成数据集的训练，可以将表现提高 7-12dB，在不需要额外训练的情况下，可以轻松扩展到具有与事件相同高帧率的连续帧的生成。

    Jul, 2020

  • 从事件相机到视频：将现代计算机视觉引入事件相机

    研究使用成熟的计算机视觉技术对从事件数据中重建的视频进行对象分类和图像重建，从而充分发挥事件相机的优异特性。

    Apr, 2019

  • 降低事件相机的模拟到现实差距

    本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略，可为视频重建网络和光流网络带来 20-40％的性能提升，并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。

    Mar, 2020

  • 利用事件相机在高帧率下使模糊画面活跃

    本研究提出了一种称为 “Event-based Double Integral (EDI)” 模型的简单且有效的方法，该模型可通过关联事件数据和潜在图像来重建清晰的高帧率视频。实验结果表明，与现有技术相比，EDI 模型和优化方法表现更卓越。

    Nov, 2018

  • 真实事件的运动去模糊

    本文提出了一种端到端学习框架，利用真实世界的事件减轻数据不一致性造成的性能下降，在光流的帮助下利用模糊一致性和亮度一致性实现了自监督，提出了分段线性运动模型以考虑运动的非线性，加强了对真实场景中运动模糊形成的准确建模，并在合成和真实运动模糊数据集上进行充分评估，显示了在真实世界情境中差距较大的模拟和真实运动模糊之间的良好表现。

    Sep, 2021

  • 使用事件相机进行单张图像的光流估计

    该研究探讨了如何利用事件相机和模糊图像进行光流估计，提出了一种基于事件相机和模糊图像的光流估计算法，并通过实验验证了该算法的优越性。

    Apr, 2020