MemFlow: 光流估计与记忆预测
本文提出了一种简单而有效的多帧光流估计的融合方法,该方法利用了长期的时间线索,首先将前几帧的光流投影到当前帧,然后将这些光流之间携带的互补信息融合为一个新的光流场,并在 MPI Sintel 和 KITTI 2015 基准测试中排名第一。
Oct, 2018
本文提出了一种基于卷积神经网络(CNN)的无监督在线学习方法,用于为每帧单独估计运动模型,通过前后向的运动关系实现运动信息的推导,并能够解决非刚性运动估计的主要限制,与没有运动预测的基线相比,在 KITTI 2012、KITTI 2015 和 MPI Sintel 三项基准测试中表现出了长达 27%的一致性改进。
Jun, 2018
针对光流估计中的连续帧遮挡问题,我们提出了一个简化的批处理多帧(SIM)流程,包括高效的时空建模方法和全局时间回归器(GTR),可在解码过程中有效地探索时间关系。相对于以前的多帧方法,该方法不仅在 KITTI 和 Sintel 数据集上的性能表现出色,尤其是在遮挡区域方面有显著改进,而且在速度方面取得了显著的 63.82% 提升。
Nov, 2023
本文提出了一种基于时空动态模型的无监督光流估计方法,使用视图合成的自我监督学习来提供可靠的运动先验信息,利用邻帧的运动先验来改善光流估计中遮挡区域的监督,采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式,实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。
Apr, 2023
本研究使用自监督学习辅助提高 CNN-based 光流估计在实际情境中的性能,在合成和真实场景下混合训练神经网络并采用样本多变量多任务结构,以预测 next-flow 代替当前光流估计,并取得了较好的性能,实验结果表明总体改善了在实际 KITTl 基准测试中的光流估计。
Dec, 2016
该论文提出了 ContinualFlow 算法来解决光流估计中遮挡估计和处理以及超过两帧图像序列的估计问题,提高了 KITTI 和 Sintel 的性能。该方法利用前一帧图像的光流信息来估计遮挡,并在无对应区域中作为经验先验,能够不断进行优化。
Nov, 2018
TransFlow 是一个基于 Transformer 结构的纯光流估计方法,通过利用空间自注意力机制和跨帧交叉注意力机制,实现更准确的相关性和可信匹配、通过长时序关联恢复更多的损失信息,并通过简单的自学习范式,消除复杂的多阶段预训练程序,在多个任务上实现了最先进的结果。
Apr, 2023
本研究探讨基于单张静态图片生成连续多个未来视频帧的问题,提出了基于多流模型预测和合成的方法。通过 3D 卷积学习了空间 - 时间关系,预测的结果更加接近真实视频的流形形态,相比现有方法性能更好、多样性更强且能获得更高的人类视觉评估。
Jul, 2018
我们提出了一种高效的光流架构 NeuFlow,通过全局到局部的匹配方案,在不同计算平台上显著提高了效率,并成功在小型机器人如无人机上实现了复杂的计算机视觉任务,如实时定位与地图构建(SLAM)。
Mar, 2024