OmniFlow:人类全方向光流
本文介绍了一种特定用于人物运动的光流算法,通过构建图像序列的数据库并使用卷积神经网络的方法进行人物运动光流估计,得到了比其他方式更为准确的结果,这一方法可应用于人物运动分析等领域。
Jun, 2018
本文提出了一种感知自然合成全方位视角光流数据集 FLOW360,其中包括 40 个不同的视频和 4000 个视频帧。为适应全方位的本质,我们提出了一种新的全方位光流表示学习框架 SLOF,通过对比损失和光流损失相结合的混合损失函数对网络进行对比训练,证明了该框架的有效性,并表现出 40% 的性能提升。
Aug, 2022
我们提出了一种新的测试时间优化方法,用于从视频序列中估计密集和长程运动。该方法使用全局一致的运动表示法,并在局部和规范空间之间使用双向对应实现像素级跟踪,能够确保全局一致性,跟踪通过遮挡的像素,并模拟相机和物体运动的任意组合。
Jun, 2023
AutoFlow 是一个简单而有效的方法,通过可学习超参数控制每一层的运动、形状和外观,优化模型在目标数据集上的表现,可以渲染用于光流训练的合成数据,并在 PWC-Net 和 RAFT 的预训练中达到最先进的精度。
Apr, 2021
本文介绍了一种从真实图片中快速生成大量准确的光流标注的框架,该框架利用单目深度估计网络构建可能的点云,通过虚拟相机运动合成新视角和对应的光流场,实现对现有数据的有效利用,并提高了视觉光流网络在真实场景中的泛化和特化性能。
Apr, 2021
TransFlow 是一个基于 Transformer 结构的纯光流估计方法,通过利用空间自注意力机制和跨帧交叉注意力机制,实现更准确的相关性和可信匹配、通过长时序关联恢复更多的损失信息,并通过简单的自学习范式,消除复杂的多阶段预训练程序,在多个任务上实现了最先进的结果。
Apr, 2023
本研究提出了一种基于任务的流程(TOFlow),该方法采用自我监督的方式以任务特定的方式学习运动表示,并在视频插值、视频去噪 / 去块以及视频超分辨率等三个视频处理任务上超越了传统的光流方法。
Nov, 2017
本研究提出了一种基于 EM 算法的 RealFlow 框架,该框架可直接从未标记的实际视频中创建大规模的光流数据集,采用了 Realistic Image Pair Rendering(RIPR)模块来减轻图像合成的伪影,并利用生成的训练数据进行无监督学习以实现光流估计。实验结果表明,RealFlow 在数据集生成方面表现优异,在两个标准基准测试中相对于监督和无监督光流方法均获得了 state-of-the-art 的性能。
Jul, 2022
介绍了一种新的光流数据集,用于解决人群行为分析领域中光流性能测试数据不足的问题,并提供了实验结果表明现有的光流算法不能有效地适应这种人群的运动及复杂性,该数据集在实际应用中表现出较高的性能。
Nov, 2018