RAFT: 光流的循环全对场变换
使用基于金字塔结构的神经网络模型 PRAFlow 建立在 RAFT 模型上,用于进行光流估计,其在多个数据集和排行榜上均表现良好,并在 ECCV 2020 比赛中获得光流任务的第二名。
Sep, 2020
我们介绍了一种新的基于光流网络 RAFT 的校正立体的深度架构 RAFT-Stereo。我们引入了多级卷积 GRU,更有效地传播图像间的信息。RAFT-Stereo 的修改版本可进行准确的实时推断,其在 Middlebury 榜单上排名第一,在 1px 误差方面比第二好的方法高出 29%,并且在 ETH3D 两视图立体基准测试的所有已发布工作中表现最佳。代码可以在此 https URL 找到。
Sep, 2021
该论文提出了一种基于 RAFT 框架的 Attention-based Feature Localization (AFL) 方法,通过引入注意力机制处理全局特征提取和解决重复模式问题,进而提出了 Amorphous Lookup Operator (ALO) 来提高收敛速度和处理大位移的能力。结果表明,该方法在 Sintel 数据集上提高了 10%,在 KITTI 数据集上提高了 5%,且仅速度降低了 33%,内存使用仅增加了 13%。
Jan, 2024
SEA-RAFT 是一种更简单、高效、准确的用于光流的 RAFT 算法,通过采用混合拉普拉斯损失函数进行训练,直接回归初始光流以提高收敛速度,并引入刚性运动预训练以提升泛化性能。在 Spring 基准测试中,SEA-RAFT 以 3.69 的端点错误(EPE)和 0.36 的像素异常率(1px)取得了最先进的准确性,相较于最佳发布结果减少了 22.9% 和 17.8% 的误差。此外,SEA-RAFT 实现了在 KITTI 和 Spring 数据集上最好的跨数据集泛化性能。尽管保持了竞争性能,但 SEA-RAFT 至少比现有方法快 2.3 倍。代码可以从此 https URL 进行公开获取。
May, 2024
本文提出一种基于 PV- RAFT 的点云场景流估计方法,采用点 - 体相互关系域、多尺度体素方法来获取点对的依赖关系,并在 FlyingThings3D 和 KITTI Scene Flow 2015 数据集中进行了实验证明其显著优于现有技术。
Dec, 2020
通过使用相同的现代培训技术和数据集,作者重访了三种主要的光流模型 PWC-Net,IRR-PWC 和 RAFT,观察到显着的性能提升,并表明这些培训细节的重要性和普遍性。新培训的 PWC-Net 和 IRR-PWC 模型显示出惊人的大幅改进,在 Sintel 和 KITTI 2015 基准测试中,其对比原始发布结果提高了 30%,在推理期间的运行速度也更快。RAF 的新培训实现了在 KITTI 2015 上的 Fl-all 得分 4.31%,比当时所有已发布的光流方法都更准确。
Mar, 2022
提出了一种新型的 CRoss-Attentional Flow Transformer (CRAFT) 系统,该系统利用语义平滑器和变形器跨框架注意力代替点积相关性来估计光流。与其他深度学习光流方法相比,CRAFT 在对大运动进行准确估计时效果更佳,并在 Sintel(Final)和 KITTI(foreground)基准测试中创造了新的最优表现。
Mar, 2022
本文提出了一种基于 RAFT 模型的新型深度 architecture,名为 RAFT-3D,其中包含刚性运动嵌入和 Dense-SE3 可区分层,以提高场景流的像素级三维运动估计性能,并在 FlyingThings3D 和 KITTI 数据集上取得了最先进的性能。
Dec, 2020
MeFlow 是一种新的内存高效的方法,用于高分辨率光流估计,通过使用局部正交费用体积和自注意力,在高分辨率输入下实现竞争性性能和最高的内存效率。
Dec, 2023
通过将光流重新描述为全局匹配问题,并使用定制 Transformer 进行特征增强、相关性和 softmax 层进行全局特征匹配、以及自注意力层进行流传播来构建 GMFlow 框架,从而实现高准确性和高效率的光流估计。
Nov, 2021