基于相位的运动放大和光流的隧道变形监测
提出了一种由事件相机和传统 RGB 相机组成的双摄像头系统,结合了事件流的时间密集信息和 RGB 图像的空间密集数据,以实现对高频运动的广泛和经济有效的放大,通过深度网络解决了高频运动和微小运动放大的问题。
Feb, 2024
本文介绍了一种简单的自监督方法,用于放大视频中微小的运动:给定输入视频和放大因子,我们通过操作视频,使其新的光流按所需比例缩放。我们提出了一个损失函数来训练我们的模型,该函数估计生成视频的光流并惩罚其与给定放大因子的偏差程度。因此,训练涉及对预训练光流网络进行微分。由于我们的模型是自监督的,我们可以通过测试时间调整进一步提高其性能,通过在输入视频上进行微调。我们的方法还可以轻松扩展为仅放大用户选择的对象的运动。我们的方法避免了需要使用合成放大数据集来训练以前基于学习的方法的需求。相反,它利用现成的现有运动估计器的功能。我们通过对一系列现实世界和合成视频的视觉质量和定量度量进行评估,以及展示我们的方法在监督和无监督光流方法中的有效性。
Nov, 2023
论文提出了一种新颖的动态滤波策略来实现静动态场自适应降噪,并介绍了一种消除噪声同时保留重要信息的全局动态稀疏交叉协方差注意力机制,以及一种选择性调节不同频率特征依赖性以减少空间衰减和补充运动边界的多尺度双路径门控机制。实验证明,EulerMormer 从 Eulerian 的角度实现了更强大的视频运动放大,明显优于现有方法。
Dec, 2023
运用 Euler 原理提取和放大固定点随时间嵌入变化的 3D 运动放大方法,支持运动相机拍摄场景的变化、创新视角渲染。通过时间变化的辐射场来表示场景,并在隐含和三平面辐射场作为三维场景表示中验证所提出的 3D 运动放大原理的有效性。在各种摄像机设置下,我们评估了所提出方法在合成和真实世界场景中的有效性。
Aug, 2023
实时视频运动放大技术的关键发现是减少潜在运动表征的空间分辨率和使用单一线性层和单一分支来实现运动放大任务。基于这些发现,我们介绍了一个实时的深度学习基于模型,比之前的方法具有更高的计算效率和速度,同时保持了相当的质量。
Mar, 2024
本研究提出了一种基于 Swine Transformer 的视频运动放大技术的新模型,具有更好的对噪声输入的容忍性和输出高品质荧光的能力,可用于在任何依赖放大视频序列的应用程序中实现更精确的测量,为视频运动放大技术在新技术领域的进一步发展打下基础。
Feb, 2023
SpikeMM 是一种基于 spike 的算法,专门为高速运动放大而设计,通过多级信息提取、空间上采样和运动放大模块的集成,实现了自我监督方法适用于各种场景,并与高性能超分辨率和运动放大算法无缝结合,经验证在实际高频设置中放大运动的能力。
Jun, 2024
本文提出了一种基于机器视觉和多层规划方案的无人机自主检测框架,用于评估爆破法隧道开挖表面的地理位置,能够在未知和动态的隧道环境中完成自主检测任务。
Jan, 2023