基于可形变卷积和 LSTM 的灵活事件帧融合网络用于动态去模糊
本文提出了一种基于事件相机的深度学习方法,通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识,提取边界先验信息,从而达到了恢复运动模糊图像的最佳质量,适用于真实世界的运动模糊问题。
Apr, 2020
本文利用事件相机记录图像信息的方式,提出了一种端到端的双阶段图像复原神经网络,设计了一个跨模态注意力模块来有效地融合事件与图像特征,同时引入了一种新的对称累积事件表示和事件掩膜门控连接,提出了一个 REBlur 数据集和 EFNet 模型用于事件运动模糊的去除,实验结果表明本文提出的方法优于之前 image-based 方法和所有已有的 public events-based 方法。
Nov, 2021
该研究提出了一种基于事件感知的运动去模糊和帧插值的统一框架,该框架使用事件的超低延迟来缓解运动模糊并实现中间帧预测,后者可通过可学习的双重积分网络和融合网络实现。借助相邻模糊输入和同时发生的事件的信息,进一步提出了自监督学习框架,以实现对真实世界模糊视频和事件的网络训练。大量实验结果表明,该方法在合成和真实世界数据集上均取得了显著的性能优势,是一种有效的去模糊技术方案。
Mar, 2022
本研究通过构建新的神经网络结构,使用事件相机实现了高清无暇的图像和视频的生成,并将故障模糊问题转化为残差学习的任务来有效地进行训练。实验结果表明,该方法可以比现有技术更好地还原图像和视频。
Mar, 2020
本文提出 Matrix-LSTM,基于一系列 LSTM 节点的网格结构可以高效处理事件,并且可以学习端到端的基于任务的事件表面,比现有的重建方法具有更好的灵活性和表现力,在 MVSEC 基准测试中对光流估计以及在 N-Cars 数据集上的事件分类方面,跑出 state-of-the-art 的成绩。
Jan, 2020
我们提出了一种新的粗细网络框架(名为 St-EDNet),通过事件和强度相机的立体事件和强度图像,直接从不对齐的输入中恢复高质量图像,实现对运动模糊的补充和重建。
Sep, 2023
该论文提出了使用多模方式结合 RGB-based trackers 和 event-based cameras 进行 high frame rate tracking 的方法,并应用 multi-modality alignment 和 fusion modules 对两种模式的信息进行融合。在 FE240hz 数据集上,该方法表现优异,实现了高达 240Hz 的高帧率追踪。
May, 2023
本研究提出了一种通用的框架,将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型,以便直接利用事件数据的本质异步性和稀疏性,并在目标检测和识别任务中实现了高达 20 倍计算复杂度的降低和 24% 的精度提高。
Mar, 2020
本文提出了一种端到端学习框架,利用真实世界的事件减轻数据不一致性造成的性能下降,在光流的帮助下利用模糊一致性和亮度一致性实现了自监督,提出了分段线性运动模型以考虑运动的非线性,加强了对真实场景中运动模糊形成的准确建模,并在合成和真实运动模糊数据集上进行充分评估,显示了在真实世界情境中差距较大的模拟和真实运动模糊之间的良好表现。
Sep, 2021
本文提出了一种可解释的网络,即基于事件增强的稀疏学习网络 (eSL-Net),用于从事件相机中恢复高质量图像,并通过稀疏学习框架共同考虑事件和低分辨率强度观测,经过合成数据集的训练,可以将表现提高 7-12dB,在不需要额外训练的情况下,可以轻松扩展到具有与事件相同高帧率的连续帧的生成。
Jul, 2020