基于事件的运动放大
实时视频运动放大技术的关键发现是减少潜在运动表征的空间分辨率和使用单一线性层和单一分支来实现运动放大任务。基于这些发现,我们介绍了一个实时的深度学习基于模型,比之前的方法具有更高的计算效率和速度,同时保持了相当的质量。
Mar, 2024
SpikeMM 是一种基于 spike 的算法,专门为高速运动放大而设计,通过多级信息提取、空间上采样和运动放大模块的集成,实现了自我监督方法适用于各种场景,并与高性能超分辨率和运动放大算法无缝结合,经验证在实际高频设置中放大运动的能力。
Jun, 2024
本文提供了一种使用深度卷积神经网络从示例中直接学习滤波器并通过合成数据集进行训练的方法来提高视频运动放大技术的质量,这些方法可以在真实视频上获得高质量的结果,并且利用时间滤波器可用于中度放大,同时分析了所学得的滤波器与以前的方法中使用的导数滤波器的相似之处。
Apr, 2018
本文提出了一种使用循环网络从事件流中直接学习重建图像的方法,并在此基础上扩展到从事件流合成彩色图像的方法,实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建,并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。
Jun, 2019
DeepMag 是一种基于梯度上升的端到端深度神经网络视频处理框架,能够自动放大特定来源的微妙的颜色和运动信号,即使存在各种速度的大运动干扰。通过定量和定性评估该方法在不同头部运动水平的视频上的表现,我们将脉搏和呼吸的放大与现有的最先进方法进行了比较,发现我们的方法产生的放大视频具有更少的伪影和模糊,同时放大生理变化的程度类似。
Aug, 2018
本文提出了一种基于事件相机的深度学习方法,通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识,提取边界先验信息,从而达到了恢复运动模糊图像的最佳质量,适用于真实世界的运动模糊问题。
Apr, 2020
本文介绍了一种基于事件相机的物体检测任务的解决方案,包括了首个高分辨率大规模数据集的发布、一种新的递归架构和一种时间一致性损失函数,这些对于更好的训练结果至关重要,而且在需要高动态范围,低延迟且具有挑战性的光照条件的情况下比传统的基于帧的解决方案更加高效而准确。
Sep, 2020
运用 Euler 原理提取和放大固定点随时间嵌入变化的 3D 运动放大方法,支持运动相机拍摄场景的变化、创新视角渲染。通过时间变化的辐射场来表示场景,并在隐含和三平面辐射场作为三维场景表示中验证所提出的 3D 运动放大原理的有效性。在各种摄像机设置下,我们评估了所提出方法在合成和真实世界场景中的有效性。
Aug, 2023