CVPRMar, 2020

EventSR: 通过端到端的对抗学习，从异步事件到图像重建、修复和超分辨率

PDF
TL;DR本文提出了一种基于事件流的、重建低分辨率图像、提高图像质量并提高分辨率的新方法 ——EventSR。该方法是基于非监督式对抗学习的，对缺乏真实高分辨率图像的情况下进行重建，并利用了包括真实和模拟场景在内的数据集来提高网络性能。实验结果表明，EventSR 可以在仿真和实际数据场景下从事件中重建出高质量的高分辨率图像。
发现论文，激发创造
  • 学习从事件中超分辨强度图像

    该研究提出一种基于事件流的端到端神经网络，能够从低空间分辨率的事件摄像头中重建出高分辨率，高动态范围的图像，优于现有同类算法，可通过使用主动传感像素框架或迭代重建图像方法进一步扩展。

    Dec, 2019

  • 事件增强高质量图像恢复

    本文提出了一种可解释的网络，即基于事件增强的稀疏学习网络 (eSL-Net)，用于从事件相机中恢复高质量图像，并通过稀疏学习框架共同考虑事件和低分辨率强度观测，经过合成数据集的训练，可以将表现提高 7-12dB，在不需要额外训练的情况下，可以轻松扩展到具有与事件相同高帧率的连续帧的生成。

    Jul, 2020

  • 事件相机实现高速和高动态范围视频

    本文提出了一种使用循环网络从事件流中直接学习重建图像的方法，并在此基础上扩展到从事件流合成彩色图像的方法，实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建，并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。

    Jun, 2019

  • 学习时空隐式神经表示以进行事件引导的视频超分辨率

    本文提出一种新的方法，利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复，实验结果表明，该方法显著超过以往技术。

    Mar, 2023

  • 降低事件相机的模拟到现实差距

    本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略，可为视频重建网络和光流网络带来 20-40％的性能提升，并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。

    Mar, 2020

  • HR-INR: 基于事件相机的连续时空视频超分辨率

    提出了一种基于 INR 的新型连续时空视频超分辨率（C-STVSR）框架，通过事件相机捕捉全局依赖性和区域运动，利用时空嵌入捕捉长期依赖性，从而提高视频分辨率和帧率。

    May, 2024

  • 使用条件生成式对抗网络生成基于事件的高动态范围图像和极高帧率视频

    本文提出了基于事件相机的条件生成式对抗网络，可以从时间数据流中的可调节部分生成图像 / 视频，并展示了在极端光照条件下生成高动态范围 (HDR) 图像的效用以及快速运动条件下生成非模糊图像的可能性和非常高的帧速率。

    Nov, 2018

  • 使用事件技术提高模糊图像的分辨率

    本研究介绍了一种基于事件的模糊超分辨率网络（EBSR-Net），利用事件的高时间分辨率来减轻运动模糊并提高高分辨率图像预测，通过多尺度中心 - 环绕事件表示来完全捕获事件内在的运动和纹理信息，设计对称的跨模态注意模块来充分利用模糊图像和事件之间的互补性，引入由多个残差密集 Swin 变换器块组成的交互残差组，在全局上下文中提取特征并促进块间特征聚合。广泛的实验证明，我们的方法与最先进的方法相比排名靠前，并具有显著的性能。

    May, 2024

  • 从事件相机到视频：将现代计算机视觉引入事件相机

    研究使用成熟的计算机视觉技术对从事件数据中重建的视频进行对象分类和图像重建，从而充分发挥事件相机的优异特性。

    Apr, 2019

  • 使用事件相机学习去模糊及生成高帧率视频

    本研究通过构建新的神经网络结构，使用事件相机实现了高清无暇的图像和视频的生成，并将故障模糊问题转化为残差学习的任务来有效地进行训练。实验结果表明，该方法可以比现有技术更好地还原图像和视频。

    Mar, 2020