ECCVNov, 2021

基于事件融合的跨模态注意力运动去模糊

PDF
TL;DR本文利用事件相机记录图像信息的方式，提出了一种端到端的双阶段图像复原神经网络，设计了一个跨模态注意力模块来有效地融合事件与图像特征，同时引入了一种新的对称累积事件表示和事件掩膜门控连接，提出了一个 REBlur 数据集和 EFNet 模型用于事件运动模糊的去除，实验结果表明本文提出的方法优于之前 image-based 方法和所有已有的 public events-based 方法。
event cameraimage deblurringmotion blurattention moduledataset
发现论文，激发创造
  • 基于事件的动态模糊矫正学习

    本文提出了一种基于事件相机的深度学习方法，通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识，提取边界先验信息，从而达到了恢复运动模糊图像的最佳质量，适用于真实世界的运动模糊问题。

    Apr, 2020

  • 基于事件的运动去模糊和帧插值的统一

    该研究提出了一种基于事件感知的运动去模糊和帧插值的统一框架，该框架使用事件的超低延迟来缓解运动模糊并实现中间帧预测，后者可通过可学习的双重积分网络和融合网络实现。借助相邻模糊输入和同时发生的事件的信息，进一步提出了自监督学习框架，以实现对真实世界模糊视频和事件的网络训练。大量实验结果表明，该方法在合成和真实世界数据集上均取得了显著的性能优势，是一种有效的去模糊技术方案。

    Mar, 2022

  • 使用事件相机学习去模糊及生成高帧率视频

    本研究通过构建新的神经网络结构，使用事件相机实现了高清无暇的图像和视频的生成，并将故障模糊问题转化为残差学习的任务来有效地进行训练。实验结果表明，该方法可以比现有技术更好地还原图像和视频。

    Mar, 2020

  • 基于可形变卷积和 LSTM 的灵活事件帧融合网络用于动态去模糊

    本研究提出了一种使用 LSTM-based event 特征提取模块的 Deformable Convolutions 网络，以灵活地融合动态变化的事件帧，能够在光照条件或场景中存在快速移动物体的情况下优于现有的运动去模糊网络。

    Jun, 2023

  • 未知曝光时间视频的事件引导去模糊

    本研究提出了一种使用事件相机进行运动去模糊的新的方法，并通过引入新的 Exposure Time-based Event Selection（ETES）模块和特征融合模块，提出了端到端的学习框架。在各个数据集上的实验表明，该方法可以达到最先进的性能水平。

    Dec, 2021

  • 真实事件的运动去模糊

    本文提出了一种端到端学习框架，利用真实世界的事件减轻数据不一致性造成的性能下降，在光流的帮助下利用模糊一致性和亮度一致性实现了自监督，提出了分段线性运动模型以考虑运动的非线性，加强了对真实场景中运动模糊形成的准确建模，并在合成和真实运动模糊数据集上进行充分评估，显示了在真实世界情境中差距较大的模拟和真实运动模糊之间的良好表现。

    Sep, 2021

  • 泛化真实场景中的基于事件的运动去模糊

    本研究提出了一个新的基于事件的去模糊方法，通过利用不同空间和时间尺度的运动模糊信息，构建了一个适应实际场景的多尺度网络，通过自我监督学习来提高准确性，并引入一个包含多尺度模糊帧和事件的真实世界数据集以促进事件驱动去模糊研究。

    Aug, 2023

  • 学习视差用于双目基于事件的运动去模糊

    我们提出了一种新的粗细网络框架（名为 St-EDNet），通过事件和强度相机的立体事件和强度图像，直接从不对齐的输入中恢复高质量图像，实现对运动模糊的补充和重建。

    Sep, 2023

  • 高帧率跟踪的帧 - 事件对齐与融合网络

    该论文提出了使用多模方式结合 RGB-based trackers 和 event-based cameras 进行 high frame rate tracking 的方法，并应用 multi-modality alignment 和 fusion modules 对两种模式的信息进行融合。在 FE240hz 数据集上，该方法表现优异，实现了高达 240Hz 的高帧率追踪。

    May, 2023

  • 交叉聚焦：同时进行运动去模糊和事件超分辨率

    本文致力于通过提高图像的时间分辨率和事件的空间分辨率来弥合传统相机和神经形态相机之间的分辨率差距，并介绍了一种新型的神经网络（CZ-Net）用于同时恢复模糊输入在曝光期内的尖锐隐藏序列和相应的高分辨率事件。

    Sep, 2023