基于事件的视频帧插值与边缘引导的运动细化
该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络,通过引入新颖的分层金字塔模块,直接估计相邻帧之间的中间光流,从而解决了现有方法在复杂场景(包括遮挡和不连续运动)中易产生图像模糊和伪影的问题,并有效降低了计算成本和复杂性。实验证明,该方法在多个数据集上超越了几种代表性的视频帧插值方法,既提高了效率又保持了良好的准确性。
Feb, 2024
本文提出了一种新的立体事件驱动视频帧插值(SE-VFI)网络(SEVFI-Net),通过特征聚合模块(FAM)解决交叉模态视差,利用融合特征实现精确的光流和视差估计,并通过基于流和基于合成的方式实现更好的插值结果。同时,作者构建了一个由事件相机和 RGB-D 相机组成的立体视觉采集系统,收集了一个新的立体事件强度数据集(SEID),实验证明 SEVFI-Net 在公共真实世界立体数据集(DSEC 和 MVSEC)和作者的 SEID 数据集上优于现有方法。
Jul, 2023
提出一种针对低光照条件下事件相机的视频帧插值的优化策略,利用场景的内部统计信息来处理低光照条件下退化的事件数据,提高对不同光照和相机设置的泛化能力。
Jun, 2024
利用动态视觉传感器或事件相机进行视频帧插值,结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略,可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。
Jul, 2023
本文提出了一种基于优化的视频帧插值方法,该方法利用循环一致性自适应策略,结合现有预训练的插值模型中的运动估计模块,以适应测试时的未见过的运动,实现提升性能。经过各种基准测试的详尽实验表明,该方法可以提升两帧插值模型的性能,优于现有最先进的方法,即使它们使用额外的输入。
Jun, 2023
本文提出了一种基于事件相机的无监督光流估计算法 EV-MGRFlowNet,该方法使用带有运动引导的循环网络和混合运动补偿损失,充分利用先前的隐藏状态和运动流,并强化几何约束以更准确地对齐事件,实验结果表明,相对于 MVSEC 数据集上的当前最先进技术,AEE 平均误差可以达到约 22.71%的平均降低,是目前无监督学习方法中排名第一的。
May, 2023
通过事件相机数据来指导自监督学习框架,以非线性稠密的 3D 时空信息估计位移场 (DF) 来应对回滚快门帧 (RS) 采集运动物体时的失真,实现相机任意帧速率插值 (VFI) 和 RS 帧到 GS 帧的互相重构。
Jun, 2023
本研究提出了一种高帧率、低延迟的事件表示 Unified Voxel Grid 和基于事件的任意时刻光流估计网络 EVA-Flow,其中关键组件为堆叠的时空运动细化模块,可通过时空运动细化预测时间密集的光流并增强其准确性,同时还引入了用于无监督评估中间光流的修正流变形误差损失 (RFWL)。
Jul, 2023
本文提出了三种技术来加强现有深度学习视频插帧 (VFI) 架构对不连续运动的鲁棒性。第一种是一种称为 figure-text mixing (FTM) 的新颖数据增强策略,无需额外数据集便可在训练时使模型学习不连续运动。第二种是一种简单而有效的模块,用于预测称为 discontinuity map (D-map) 的地图,密集地区分持续和不连续运动区域。最后,我们提出了损失函数,以对不连续运动区域进行监督。应用于各种先进的 VFI 网络,我们的方法显著提高了插帧质量,不仅适用于 GDM 数据集,还包括只包含连续运动的现有基准数据集,例如 Vimeo90K、UCF101 和 DAVIS。
Feb, 2022