CVPRMay, 2024

事件流超分辨率的双边事件挖掘与补充

PDF
TL;DR本研究提出了一种双边事件挖掘和互补网络（BMCNet），旨在完全发挥每个事件的潜力，同时捕捉共享信息以相互补充，通过两流网络实现对每种类型事件的全面挖掘，并通过双边信息交换（BIE）模块促进两个流之间的信息交流，在事件的固有特性带来的无效信息的影响下减轻有效信息的传播，实验证明我们的方法在事件流超分辨率方面优于现有方法，并在真实数据集和合成数据集上分别实现了超过 11％的性能提升，此外，我们的方法显著改善了基于事件的下游任务的性能，如目标识别和视频重构。
event stream super-resolutionevent camerasbilateral event miningcomplementary networkevent-based downstream tasks
发现论文，激发创造
  • 高效的事件流超分辨率与递归多支融合

    我们提出了一种高效的递归多分支信息融合网络（RMFNet），用于处理事件流中的正负事件，实现互补信息提取和改善效果。经实验证实，我们的方法在合成和真实数据集上分别取得了 17% 和 31% 的改进，并且加速了 2.3 倍。此外，我们还在物体识别和视频重建等应用中验证了我们的方法，取得了优秀的结果。

    Jun, 2024

  • 使用事件技术提高模糊图像的分辨率

    本研究介绍了一种基于事件的模糊超分辨率网络（EBSR-Net），利用事件的高时间分辨率来减轻运动模糊并提高高分辨率图像预测，通过多尺度中心 - 环绕事件表示来完全捕获事件内在的运动和纹理信息，设计对称的跨模态注意模块来充分利用模糊图像和事件之间的互补性，引入由多个残差密集 Swin 变换器块组成的交互残差组，在全局上下文中提取特征并促进块间特征聚合。广泛的实验证明，我们的方法与最先进的方法相比排名靠前，并具有显著的性能。

    May, 2024

  • EventSR: 通过端到端的对抗学习，从异步事件到图像重建、修复和超分辨率

    本文提出了一种基于事件流的、重建低分辨率图像、提高图像质量并提高分辨率的新方法 ——EventSR。该方法是基于非监督式对抗学习的，对缺乏真实高分辨率图像的情况下进行重建，并利用了包括真实和模拟场景在内的数据集来提高网络性能。实验结果表明，EventSR 可以在仿真和实际数据场景下从事件中重建出高质量的高分辨率图像。

    Mar, 2020

  • 事件增强高质量图像恢复

    本文提出了一种可解释的网络，即基于事件增强的稀疏学习网络 (eSL-Net)，用于从事件相机中恢复高质量图像，并通过稀疏学习框架共同考虑事件和低分辨率强度观测，经过合成数据集的训练，可以将表现提高 7-12dB，在不需要额外训练的情况下，可以轻松扩展到具有与事件相同高帧率的连续帧的生成。

    Jul, 2020

  • 交叉聚焦：同时进行运动去模糊和事件超分辨率

    本文致力于通过提高图像的时间分辨率和事件的空间分辨率来弥合传统相机和神经形态相机之间的分辨率差距，并介绍了一种新型的神经网络（CZ-Net）用于同时恢复模糊输入在曝光期内的尖锐隐藏序列和相应的高分辨率事件。

    Sep, 2023

  • 学习从事件中超分辨强度图像

    该研究提出一种基于事件流的端到端神经网络，能够从低空间分辨率的事件摄像头中重建出高分辨率，高动态范围的图像，优于现有同类算法，可通过使用主动传感像素框架或迭代重建图像方法进一步扩展。

    Dec, 2019

  • 学习时空隐式神经表示以进行事件引导的视频超分辨率

    本文提出一种新的方法，利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复，实验结果表明，该方法显著超过以往技术。

    Mar, 2023

  • 实时搜索中的事件增强检索

    提出了一种名为 EER 的新方法，该方法通过改进传统 EBR 的双编码器模型、引入对比学习和生成式事件三元组提取方案，以及相关学习实现事件关联查询编码器优化，提高了实时检索性能，有望为信息检索领域带来新的视角。

    Apr, 2024

  • 基于事件融合的跨模态注意力运动去模糊

    本文利用事件相机记录图像信息的方式，提出了一种端到端的双阶段图像复原神经网络，设计了一个跨模态注意力模块来有效地融合事件与图像特征，同时引入了一种新的对称累积事件表示和事件掩膜门控连接，提出了一个 REBlur 数据集和 EFNet 模型用于事件运动模糊的去除，实验结果表明本文提出的方法优于之前 image-based 方法和所有已有的 public events-based 方法。

    Nov, 2021

  • 事件相机实现高速和高动态范围视频

    本文提出了一种使用循环网络从事件流中直接学习重建图像的方法，并在此基础上扩展到从事件流合成彩色图像的方法，实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建，并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。

    Jun, 2019