适用于滚动快门影像的事件引导式视频帧插值的自监督学习
探索场景动态恢复的一个事件感知、自监督的方法,其中用于预测任意时间间隔内像素间的动态的 E-IC 压缩器,是该领域中最先进的方法之一,旨在应对摄像机 / 物体运动的先验知识不可用时,由缺少动态信息造成的严重不适定问题。
Apr, 2023
本篇论文提出了一种使用事件相机的方法,通过学习隐式神经表示(INR)并建立空间 - 时间隐式编码(STE) 来从滚动快门相机下的模糊图像中恢复高速率全局快门锐化帧,以及设计了 RS 模糊图像指导的积分损失方法,当与现有方法相比时,该方法效果显著。
May, 2023
本文提出了一种上下文感知的全局快门视频重建体系结构,通过估计双边运动场,引导全局快门帧合成,产生任意时间高保真度的全局快门视频帧,并在合成任务的相关任务中提供简单而有效的全局快门帧初始化。
May, 2022
本文提出了一个基于双向反向 RS 图像进行自监督训练的 DRSC 网络框架 ——SelfDRSC,该框架可以校正特定的图像捕获方法 ——RS 的失真,并可训练生成高帧率 GS 视频,实验结果表明 SelfDRSC 对真实场景的 RS 图像处理效果更佳。
May, 2023
本文提出了一种新框架,通过反向扭曲操作直接估计失真流并修正滚动快门(RS)图像,通过全局关联流注意机制初步估计初始失真流和全局快门特征,并通过粗糙到精细的解码器层进行进一步优化,实验证实了该方法的有效性,在各个基准测试中优于现有方法同时保持高效性。
Apr, 2024
该研究提出了一种基于事件感知的运动去模糊和帧插值的统一框架,该框架使用事件的超低延迟来缓解运动模糊并实现中间帧预测,后者可通过可学习的双重积分网络和融合网络实现。借助相邻模糊输入和同时发生的事件的信息,进一步提出了自监督学习框架,以实现对真实世界模糊视频和事件的网络训练。大量实验结果表明,该方法在合成和真实世界数据集上均取得了显著的性能优势,是一种有效的去模糊技术方案。
Mar, 2022
本文提出一种新的方法,利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复,实验结果表明,该方法显著超过以往技术。
Mar, 2023
本文提出了一种基于双重滚动快门相机捕捉的成像方法,通过迭代学习速度场来生成双重光流序列,以此提取全局快门帧序列。IFED 模型被证明在处理不同读取设置和带有相机运动和物体运动的动态场景数据方面具有比当前最先进方法更好的表现。
Mar, 2022
本文提出了一种改进的运动结构法(SfM)算法,该算法考虑了无论 Rolling Shutter(RS)的影响,都能够估计两个连续帧的相对姿态,并给出了用于复原 Rolling Shutter 相机的相对姿态的 9 点算法,使用该算法的图像矫正可产生高质量的全局快门(GS)图像和 3D 重建结果。
Mar, 2019
本文提出了一个实现滚动快门矫正的数据集 BS-RSC 和相应的模型。该模型具有自适应扭曲和适应性变形,可以将学习到的 RS 特征自适应地扭曲成全局快门对应物并重建成高品质的全局快门帧。实验结果表明,该方法有效,并且我们的数据集可以提高模型在现实情况下消除 RS 效应的能力。
Apr, 2022