学习视差用于双目基于事件的运动去模糊
该研究提出了一种基于事件感知的运动去模糊和帧插值的统一框架,该框架使用事件的超低延迟来缓解运动模糊并实现中间帧预测,后者可通过可学习的双重积分网络和融合网络实现。借助相邻模糊输入和同时发生的事件的信息,进一步提出了自监督学习框架,以实现对真实世界模糊视频和事件的网络训练。大量实验结果表明,该方法在合成和真实世界数据集上均取得了显著的性能优势,是一种有效的去模糊技术方案。
Mar, 2022
本文提出了一种基于事件相机的深度学习方法,通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识,提取边界先验信息,从而达到了恢复运动模糊图像的最佳质量,适用于真实世界的运动模糊问题。
Apr, 2020
本文利用事件相机记录图像信息的方式,提出了一种端到端的双阶段图像复原神经网络,设计了一个跨模态注意力模块来有效地融合事件与图像特征,同时引入了一种新的对称累积事件表示和事件掩膜门控连接,提出了一个 REBlur 数据集和 EFNet 模型用于事件运动模糊的去除,实验结果表明本文提出的方法优于之前 image-based 方法和所有已有的 public events-based 方法。
Nov, 2021
本文提出了一种可解释的网络,即基于事件增强的稀疏学习网络 (eSL-Net),用于从事件相机中恢复高质量图像,并通过稀疏学习框架共同考虑事件和低分辨率强度观测,经过合成数据集的训练,可以将表现提高 7-12dB,在不需要额外训练的情况下,可以轻松扩展到具有与事件相同高帧率的连续帧的生成。
Jul, 2020
本研究提出了一种新颖的事件驱动的立体视觉方法,解决了运动模糊问题。这种方法使用开发者提出的一些同步技巧,使用一对时间同步的事件视差体来表示事件,使用新的匹配成本来选择同步的事件视差体中的特征点,并在 Multi Vehicle Stereo Event Camera 数据集上表现出比传统方法更好的效果。
Mar, 2018
本文提出了一种新的立体事件驱动视频帧插值(SE-VFI)网络(SEVFI-Net),通过特征聚合模块(FAM)解决交叉模态视差,利用融合特征实现精确的光流和视差估计,并通过基于流和基于合成的方式实现更好的插值结果。同时,作者构建了一个由事件相机和 RGB-D 相机组成的立体视觉采集系统,收集了一个新的立体事件强度数据集(SEID),实验证明 SEVFI-Net 在公共真实世界立体数据集(DSEC 和 MVSEC)和作者的 SEID 数据集上优于现有方法。
Jul, 2023
本研究提出了一个新的基于事件的去模糊方法,通过利用不同空间和时间尺度的运动模糊信息,构建了一个适应实际场景的多尺度网络,通过自我监督学习来提高准确性,并引入一个包含多尺度模糊帧和事件的真实世界数据集以促进事件驱动去模糊研究。
Aug, 2023
本研究通过构建新的神经网络结构,使用事件相机实现了高清无暇的图像和视频的生成,并将故障模糊问题转化为残差学习的任务来有效地进行训练。实验结果表明,该方法可以比现有技术更好地还原图像和视频。
Mar, 2020
本文提出了一种端到端学习框架,利用真实世界的事件减轻数据不一致性造成的性能下降,在光流的帮助下利用模糊一致性和亮度一致性实现了自监督,提出了分段线性运动模型以考虑运动的非线性,加强了对真实场景中运动模糊形成的准确建模,并在合成和真实运动模糊数据集上进行充分评估,显示了在真实世界情境中差距较大的模拟和真实运动模糊之间的良好表现。
Sep, 2021
提出了一种基于事件相机的无监督学习框架,通过事件流中的运动信息来学习运动,该框架包含用于事件的输入表示、用于预测运动的神经网络、用于运动补偿的方法以及用于测量运动模糊的损失函数,并使用该框架训练了两个网络,一个用于预测光流,另一个用于预测自运动和深度。最后,使用 Multi Vehicle Stereo Event Camera 数据集进行了定量和定性结果的评估。
Dec, 2018