Jul, 2020

事件增强高质量图像恢复

PDF
TL;DR本文提出了一种可解释的网络，即基于事件增强的稀疏学习网络 (eSL-Net)，用于从事件相机中恢复高质量图像，并通过稀疏学习框架共同考虑事件和低分辨率强度观测，经过合成数据集的训练，可以将表现提高 7-12dB，在不需要额外训练的情况下，可以轻松扩展到具有与事件相同高帧率的连续帧的生成。
event camerasdenoisingsuper-resolutionsparse learningcomputer vision
发现论文，激发创造
  • EventSR: 通过端到端的对抗学习，从异步事件到图像重建、修复和超分辨率

    本文提出了一种基于事件流的、重建低分辨率图像、提高图像质量并提高分辨率的新方法 ——EventSR。该方法是基于非监督式对抗学习的，对缺乏真实高分辨率图像的情况下进行重建，并利用了包括真实和模拟场景在内的数据集来提高网络性能。实验结果表明，EventSR 可以在仿真和实际数据场景下从事件中重建出高质量的高分辨率图像。

    Mar, 2020

  • 事件相机实现高速和高动态范围视频

    本文提出了一种使用循环网络从事件流中直接学习重建图像的方法，并在此基础上扩展到从事件流合成彩色图像的方法，实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建，并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。

    Jun, 2019

  • 学习从事件中超分辨强度图像

    该研究提出一种基于事件流的端到端神经网络，能够从低空间分辨率的事件摄像头中重建出高分辨率，高动态范围的图像，优于现有同类算法，可通过使用主动传感像素框架或迭代重建图像方法进一步扩展。

    Dec, 2019

  • 使用事件相机学习去模糊及生成高帧率视频

    本研究通过构建新的神经网络结构，使用事件相机实现了高清无暇的图像和视频的生成，并将故障模糊问题转化为残差学习的任务来有效地进行训练。实验结果表明，该方法可以比现有技术更好地还原图像和视频。

    Mar, 2020

  • 降低事件相机的模拟到现实差距

    本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略，可为视频重建网络和光流网络带来 20-40％的性能提升，并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。

    Mar, 2020

  • 使用条件生成式对抗网络生成基于事件的高动态范围图像和极高帧率视频

    本文提出了基于事件相机的条件生成式对抗网络，可以从时间数据流中的可调节部分生成图像 / 视频，并展示了在极端光照条件下生成高动态范围 (HDR) 图像的效用以及快速运动条件下生成非模糊图像的可能性和非常高的帧速率。

    Nov, 2018

  • 学习视差用于双目基于事件的运动去模糊

    我们提出了一种新的粗细网络框架（名为 St-EDNet），通过事件和强度相机的立体事件和强度图像，直接从不对齐的输入中恢复高质量图像，实现对运动模糊的补充和重建。

    Sep, 2023

  • 基于事件的动态模糊矫正学习

    本文提出了一种基于事件相机的深度学习方法，通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识，提取边界先验信息，从而达到了恢复运动模糊图像的最佳质量，适用于真实世界的运动模糊问题。

    Apr, 2020

  • E2HQV：通过理论启发的模型辅助深度学习从事件相机生成高质量视频

    提出了一种名为 E2HQV 的新型 E2V 范例，该范例利用了模型辅助的深度学习框架，从基于事件相机的基本成像原理中精心推导出的理论驱动的 E2V 模型，以及为了进一步提高视频帧质量而设计的时间偏移嵌入模块。对真实世界事件相机数据集的综合评估验证了我们的方法的有效性，E2HQV 在一些评估指标上超过了其他最先进的方法超过 40%。

    Jan, 2024

  • 使用事件技术提高模糊图像的分辨率

    本研究介绍了一种基于事件的模糊超分辨率网络（EBSR-Net），利用事件的高时间分辨率来减轻运动模糊并提高高分辨率图像预测，通过多尺度中心 - 环绕事件表示来完全捕获事件内在的运动和纹理信息，设计对称的跨模态注意模块来充分利用模糊图像和事件之间的互补性，引入由多个残差密集 Swin 变换器块组成的交互残差组，在全局上下文中提取特征并促进块间特征聚合。广泛的实验证明，我们的方法与最先进的方法相比排名靠前，并具有显著的性能。

    May, 2024