本文提出了一种简单而有效的多帧光流估计的融合方法,该方法利用了长期的时间线索,首先将前几帧的光流投影到当前帧,然后将这些光流之间携带的互补信息融合为一个新的光流场,并在 MPI Sintel 和 KITTI 2015 基准测试中排名第一。
Oct, 2018
该论文提出了基于图像自相似性建模的全局运动聚合模块和基于 Transformer 的方法来解决光流算法中的遮挡问题,实现了在遮挡区域中光流估计的显著提高,并在 Sintel 数据集上取得了最新的 state-of-the-art 结果。
Apr, 2021
针对光流估计中的连续帧遮挡问题,我们提出了一个简化的批处理多帧(SIM)流程,包括高效的时空建模方法和全局时间回归器(GTR),可在解码过程中有效地探索时间关系。相对于以前的多帧方法,该方法不仅在 KITTI 和 Sintel 数据集上的性能表现出色,尤其是在遮挡区域方面有显著改进,而且在速度方面取得了显著的 63.82% 提升。
Nov, 2023
本文提出了一种基于时空动态模型的无监督光流估计方法,使用视图合成的自我监督学习来提供可靠的运动先验信息,利用邻帧的运动先验来改善光流估计中遮挡区域的监督,采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式,实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。
Apr, 2023
通过充分利用帧对提供的时空信息,设计回路判断算法以确保获得正确的全局参考信息,并从中挖掘多种必要的全局信息,再设计一个高效的细化模块来融合这些全局信息,提出了一种名为 YOIO 的框架,可以在只进行一次迭代的情况下显著提升遮挡区域的光流估计性能,而对非遮挡区域的性能没有损害。与 GMA 相比,该方法在遮挡区域的光流预测精度提高了 10% 以上,occ_out 区域超过 15%,计算时间缩短了 27%。在 436*1024 像素分辨率下,此方法以每秒 18.9 帧的速度运行,在具有挑战性的 Sintel 数据集中获得了优于所有已发表和未发表的能够实时运行的方法的最新成果,为准确高效的光流估计提供了新的范例。
Jan, 2024
本文提出了一种用于从立体影像中求解密集的三维场景流问题的连续优化方法,其中将动态三维场景表示为一系列刚性运动的平面段,使用预先确定的精细超像素分割,将问题分解为光度学、几何和平滑约束,并使用 Levenberg-Marquardt 进行全局非线性优化。
Jul, 2016
该论文提出了一种基于数据驱动的多帧场景流估计方法,通过神经网络以及双向场景流估计和遮挡掩模生成实现了对运动估计中遮挡问题的有效解决,提供了一种快速有效的计算机视觉方法。
Nov, 2020
MemFlow 是一种实时的光流估计和预测方法,通过使用内存中的历史运动信息实现光流的估计和预测,并通过适应不同视频分辨率来提高性能。
Apr, 2024
本文提出了一种对称的光流方法,通过充分利用光流和遮挡的对称性来解决光流和遮挡之间的鸡生蛋问题,结果显示我们的模型在标准基准测试中具有显着的性能优势,尤其是对于具有挑战性的 KITTI 数据集,我们报告了至今最准确的两帧光流结果。
Aug, 2017
本研究提出了基于学习的多帧光流估计方法,使用 3D Convolutional Gated Recurrent Units 和 spatiotemporal transformers 对长序列的场景动态进行建模,在遮挡的区域中获得较高的光流准确度。