基于事件的动态模糊矫正学习
本文提出了一种端到端学习框架,利用真实世界的事件减轻数据不一致性造成的性能下降,在光流的帮助下利用模糊一致性和亮度一致性实现了自监督,提出了分段线性运动模型以考虑运动的非线性,加强了对真实场景中运动模糊形成的准确建模,并在合成和真实运动模糊数据集上进行充分评估,显示了在真实世界情境中差距较大的模拟和真实运动模糊之间的良好表现。
Sep, 2021
本文利用事件相机记录图像信息的方式,提出了一种端到端的双阶段图像复原神经网络,设计了一个跨模态注意力模块来有效地融合事件与图像特征,同时引入了一种新的对称累积事件表示和事件掩膜门控连接,提出了一个REBlur数据集和EFNet模型用于事件运动模糊的去除,实验结果表明本文提出的方法优于之前image-based方法和所有已有的public events-based方法。
Nov, 2021
本研究提出了一种使用事件相机进行运动去模糊的新的方法,并通过引入新的Exposure Time-based Event Selection(ETES)模块和特征融合模块,提出了端到端的学习框架。在各个数据集上的实验表明,该方法可以达到最先进的性能水平。
Dec, 2021
该研究提出了一种基于事件感知的运动去模糊和帧插值的统一框架,该框架使用事件的超低延迟来缓解运动模糊并实现中间帧预测,后者可通过可学习的双重积分网络和融合网络实现。借助相邻模糊输入和同时发生的事件的信息,进一步提出了自监督学习框架,以实现对真实世界模糊视频和事件的网络训练。大量实验结果表明,该方法在合成和真实世界数据集上均取得了显著的性能优势,是一种有效的去模糊技术方案。
Mar, 2022
本研究提出了一种使用LSTM-based event特征提取模块的Deformable Convolutions网络,以灵活地融合动态变化的事件帧,能够在光照条件或场景中存在快速移动物体的情况下优于现有的运动去模糊网络。
Jun, 2023
本研究提出了一个新的基于事件的去模糊方法,通过利用不同空间和时间尺度的运动模糊信息,构建了一个适应实际场景的多尺度网络,通过自我监督学习来提高准确性,并引入一个包含多尺度模糊帧和事件的真实世界数据集以促进事件驱动去模糊研究。
Aug, 2023
我们提出了一种新的粗细网络框架(名为St-EDNet),通过事件和强度相机的立体事件和强度图像,直接从不对齐的输入中恢复高质量图像,实现对运动模糊的补充和重建。
Sep, 2023
本研究解决了视频去模糊中因严重运动模糊而导致的邻近帧时间对应不准确的问题。通过引入事件相机的微秒时间分辨率,提出了两个模块以增强单帧特征和对帧间时间特征进行对齐。实验结果显示,该方法在合成和真实世界的去模糊数据集上超过了现有的最新技术。
Aug, 2024
本研究解决了现有视频去模糊方法在严重运动模糊条件下无法准确对齐邻近帧的问题。我们提出了一种新颖的方法,利用事件相机的微秒时间分辨率,通过模块化设计增强帧内特征并实现帧间时间特征对齐,从而显著提高去模糊效果。实验结果表明,该方法在合成和真实世界数据集上均超越了最新的帧基础和事件基础的去模糊技术。
Aug, 2024