从单个模糊图像中恢复连续场景动态
该研究提出了一种基于事件感知的运动去模糊和帧插值的统一框架,该框架使用事件的超低延迟来缓解运动模糊并实现中间帧预测,后者可通过可学习的双重积分网络和融合网络实现。借助相邻模糊输入和同时发生的事件的信息,进一步提出了自监督学习框架,以实现对真实世界模糊视频和事件的网络训练。大量实验结果表明,该方法在合成和真实世界数据集上均取得了显著的性能优势,是一种有效的去模糊技术方案。
Mar, 2022
本文提出了一种基于事件相机的深度学习方法,通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识,提取边界先验信息,从而达到了恢复运动模糊图像的最佳质量,适用于真实世界的运动模糊问题。
Apr, 2020
本文利用事件相机记录图像信息的方式,提出了一种端到端的双阶段图像复原神经网络,设计了一个跨模态注意力模块来有效地融合事件与图像特征,同时引入了一种新的对称累积事件表示和事件掩膜门控连接,提出了一个 REBlur 数据集和 EFNet 模型用于事件运动模糊的去除,实验结果表明本文提出的方法优于之前 image-based 方法和所有已有的 public events-based 方法。
Nov, 2021
本文提出了一种端到端学习框架,利用真实世界的事件减轻数据不一致性造成的性能下降,在光流的帮助下利用模糊一致性和亮度一致性实现了自监督,提出了分段线性运动模型以考虑运动的非线性,加强了对真实场景中运动模糊形成的准确建模,并在合成和真实运动模糊数据集上进行充分评估,显示了在真实世界情境中差距较大的模拟和真实运动模糊之间的良好表现。
Sep, 2021
该论文介绍了一种基于编码器 - 解码器结构的视频清晰化方法,通过将视频序列和运动因素作为潜在因素,将单个模糊图像作为观察值,设计了一种损失函数和正则化器,经过大量实验验证了该方法的有效性和可转移性。
Apr, 2021
本文提出了一种从单张运动模糊图像中提取视频序列的方法,使用深度学习方案逐步重构时间排序。该方法可以成功地从单张运动模糊的图像中检索到清晰的图像序列,可以在不同的相机捕捉到的合成和真实数据集上很好地推广。
Apr, 2018
本研究通过构建新的神经网络结构,使用事件相机实现了高清无暇的图像和视频的生成,并将故障模糊问题转化为残差学习的任务来有效地进行训练。实验结果表明,该方法可以比现有技术更好地还原图像和视频。
Mar, 2020
设计了一个端到端的自动编码器网络来提取运动模糊图像中的视频信息,生成具有时间上连续性的清晰图片序列,同时实现了实时的单张图像去模糊操作,结果表明我们的方法在精度、速度和紧凑性方面均优于现有方法。
Apr, 2018
本研究提出了一种使用事件相机进行运动去模糊的新的方法,并通过引入新的 Exposure Time-based Event Selection(ETES)模块和特征融合模块,提出了端到端的学习框架。在各个数据集上的实验表明,该方法可以达到最先进的性能水平。
Dec, 2021