May, 2024

SEA-RAFT：用于光流的简单高效准确的 RAFT 算法

PDF
TL;DRSEA-RAFT 是一种更简单、高效、准确的用于光流的 RAFT 算法，通过采用混合拉普拉斯损失函数进行训练，直接回归初始光流以提高收敛速度，并引入刚性运动预训练以提升泛化性能。在 Spring 基准测试中，SEA-RAFT 以 3.69 的端点错误（EPE）和 0.36 的像素异常率（1px）取得了最先进的准确性，相较于最佳发布结果减少了 22.9% 和 17.8% 的误差。此外，SEA-RAFT 实现了在 KITTI 和 Spring 数据集上最好的跨数据集泛化性能。尽管保持了竞争性能，但 SEA-RAFT 至少比现有方法快 2.3 倍。代码可以从此 https URL 进行公开获取。
sea-raftoptical flowlossraftgeneralization
发现论文，激发创造
  • RAFT: 光流的循环全对场变换

    RAFT 是一个新的深度网络结构，用于光流问题，它提取每个像素的特征，为所有像素建立多尺度 4D 相关性体，并通过一个循环单元，通过对相关性体的查找，迭代更新光流场。RAFT 在 KITTI 和 Sintel 数据集上实现了最新颖的性能，并且具有高效率的推断时间、训练速度和参数计数。

    Mar, 2020

  • 重新思考用于高效光流的 RAFT

    该论文提出了一种基于 RAFT 框架的 Attention-based Feature Localization (AFL) 方法，通过引入注意力机制处理全局特征提取和解决重复模式问题，进而提出了 Amorphous Lookup Operator (ALO) 来提高收敛速度和处理大位移的能力。结果表明，该方法在 Sintel 数据集上提高了 10%，在 KITTI 数据集上提高了 5%，且仅速度降低了 33%，内存使用仅增加了 13%。

    Jan, 2024

  • RAFT-3D: 使用刚体运动嵌入实现场景流

    本文提出了一种基于 RAFT 模型的新型深度 architecture，名为 RAFT-3D，其中包含刚性运动嵌入和 Dense-SE3 可区分层，以提高场景流的像素级三维运动估计性能，并在 FlyingThings3D 和 KITTI 数据集上取得了最先进的性能。

    Dec, 2020

  • 光流分离架构与训练

    通过使用相同的现代培训技术和数据集，作者重访了三种主要的光流模型 PWC-Net，IRR-PWC 和 RAFT，观察到显着的性能提升，并表明这些培训细节的重要性和普遍性。新培训的 PWC-Net 和 IRR-PWC 模型显示出惊人的大幅改进，在 Sintel 和 KITTI 2015 基准测试中，其对比原始发布结果提高了 30％，在推理期间的运行速度也更快。RAF 的新培训实现了在 KITTI 2015 上的 Fl-all 得分 4.31％，比当时所有已发布的光流方法都更准确。

    Mar, 2022

  • RAFT-Stereo：用于立体匹配的多层循环场变换

    我们介绍了一种新的基于光流网络 RAFT 的校正立体的深度架构 RAFT-Stereo。我们引入了多级卷积 GRU，更有效地传播图像间的信息。RAFT-Stereo 的修改版本可进行准确的实时推断，其在 Middlebury 榜单上排名第一，在 1px 误差方面比第二好的方法高出 29％，并且在 ETH3D 两视图立体基准测试的所有已发布工作中表现最佳。代码可以在此 https URL 找到。

    Sep, 2021

  • SMURF: 自我教学的多帧无监督 RAFT 和全图像对齐

    SMURF 方法可用于无监督地学习光流，并结合来自 RAFT 模型的架构改进以及新的无监督学习想法，如序列感知自我监督损失，处理帧外运动的技术和有效地从多帧视频数据中学习的方法，仅需要两帧进行推理。结果表明，在所有基准测试中，SMURF 方法对光流的无监督学习比之前最佳方法 UFlow 提高了 36% 至 40% 甚至超过了多种监督方法，如 PWC-Net 和 FlowNet2。

    May, 2021

  • 无监督可变形超声图像配准及其在血管分割中的应用

    本文介绍了一种基于深度学习的模型进行医学超声图像的可变形配准，同时能够生成合成图像用于训练血管分割模型，而无需额外的手动标注。模型通过不同的损失函数进行训练，能够将生成的合成超声图像与真实图像的结构相似性指数（SSIM）分别达到 98% 和 81%。同时，合成的变形图像可用作数据增强技术来提高血管分割模型的分割表现。

    Jun, 2023

  • GMFlow：通过全局匹配学习光流

    通过将光流重新描述为全局匹配问题，并使用定制 Transformer 进行特征增强、相关性和 softmax 层进行全局特征匹配、以及自注意力层进行流传播来构建 GMFlow 框架，从而实现高准确性和高效率的光流估计。

    Nov, 2021

  • E-RAFT: 来自事件相机的稠密光流

    本文提出了一种针对事件相机的全新稠密光流计算方法，通过引入特征相关性与顺序处理的设计思路，相比于现有方案在数据集 MVSEC 上将终点误差降低了 23％，并提出一种新的数据集，更能反映现实场景中物体的运动情况，最终结果的终点误差比之前的方案减少了 66%。

    Aug, 2021

  • PRAFlow_RVC：2020 年稳健视觉挑战赛中的金字塔循环全对场变换用于光流估计

    使用基于金字塔结构的神经网络模型 PRAFlow 建立在 RAFT 模型上，用于进行光流估计，其在多个数据集和排行榜上均表现良好，并在 ECCV 2020 比赛中获得光流任务的第二名。

    Sep, 2020