Sep, 2021

RAFT-Stereo：用于立体匹配的多层循环场变换

PDF
TL;DR我们介绍了一种新的基于光流网络 RAFT 的校正立体的深度架构 RAFT-Stereo。我们引入了多级卷积 GRU，更有效地传播图像间的信息。RAFT-Stereo 的修改版本可进行准确的实时推断，其在 Middlebury 榜单上排名第一，在 1px 误差方面比第二好的方法高出 29％，并且在 ETH3D 两视图立体基准测试的所有已发布工作中表现最佳。代码可以在此 https URL 找到。
raft-stereodeep architecturestereooptical flow networkconvolutional grus
发现论文，激发创造
  • RAFT: 光流的循环全对场变换

    RAFT 是一个新的深度网络结构，用于光流问题，它提取每个像素的特征，为所有像素建立多尺度 4D 相关性体，并通过一个循环单元，通过对相关性体的查找，迭代更新光流场。RAFT 在 KITTI 和 Sintel 数据集上实现了最新颖的性能，并且具有高效率的推断时间、训练速度和参数计数。

    Mar, 2020

  • 级联极线 RAFT 的多视角立体匹配

    提出 CER-MVS (Cascaded Epipolar RAFT Multiview Stereo) 方法，使用 RAF（Recurrent All-Pairs Field Transforms）架构，引入 epipolar cost volumes，cost volume cascading，multiview fusion of cost volumes，dynamic supervision 以及 multiresolution fusion of depth maps 等五种新方法以从多个校准图像中重建 3D 模型，具有较强性能。

    May, 2022

  • PRAFlow_RVC：2020 年稳健视觉挑战赛中的金字塔循环全对场变换用于光流估计

    使用基于金字塔结构的神经网络模型 PRAFlow 建立在 RAFT 模型上，用于进行光流估计，其在多个数据集和排行榜上均表现良好，并在 ECCV 2020 比赛中获得光流任务的第二名。

    Sep, 2020

  • 重新思考用于高效光流的 RAFT

    该论文提出了一种基于 RAFT 框架的 Attention-based Feature Localization (AFL) 方法，通过引入注意力机制处理全局特征提取和解决重复模式问题，进而提出了 Amorphous Lookup Operator (ALO) 来提高收敛速度和处理大位移的能力。结果表明，该方法在 Sintel 数据集上提高了 10%，在 KITTI 数据集上提高了 5%，且仅速度降低了 33%，内存使用仅增加了 13%。

    Jan, 2024

  • RAFT-3D: 使用刚体运动嵌入实现场景流

    本文提出了一种基于 RAFT 模型的新型深度 architecture，名为 RAFT-3D，其中包含刚性运动嵌入和 Dense-SE3 可区分层，以提高场景流的像素级三维运动估计性能，并在 FlyingThings3D 和 KITTI 数据集上取得了最先进的性能。

    Dec, 2020

  • RomniStereo：循环全方位立体匹配

    提出了一种名为 RomniStereo 的递归全向立体匹配算法，通过对全向立体匹配的输出进行权重调整，将其转化为递归更新的输入，同时引入了格点嵌入和自适应上下文特征生成等技术，实现在多个数据集上平均 MAE 度量指标提升了 40.7%，并在合成和真实示例上展现明显的优势。

    Jan, 2024

  • 统一流场、立体和深度估计

    本文提出了一种统一的模型形式和模型，可以用于光流、矫正立体匹配和从定位图像中估计无校准立体深度。该模型使用 Transformer 中的交叉注意力机制实现判别特征表示，并在允许跨任务转移的同时，在多个数据集上实现或超过现有最新方法的性能。

    Nov, 2022

  • SEA-RAFT：用于光流的简单高效准确的 RAFT 算法

    SEA-RAFT 是一种更简单、高效、准确的用于光流的 RAFT 算法，通过采用混合拉普拉斯损失函数进行训练，直接回归初始光流以提高收敛速度，并引入刚性运动预训练以提升泛化性能。在 Spring 基准测试中，SEA-RAFT 以 3.69 的端点错误（EPE）和 0.36 的像素异常率（1px）取得了最先进的准确性，相较于最佳发布结果减少了 22.9% 和 17.8% 的误差。此外，SEA-RAFT 实现了在 KITTI 和 Spring 数据集上最好的跨数据集泛化性能。尽管保持了竞争性能，但 SEA-RAFT 至少比现有方法快 2.3 倍。代码可以从此 https URL 进行公开获取。

    May, 2024

  • GMFlow：通过全局匹配学习光流

    通过将光流重新描述为全局匹配问题，并使用定制 Transformer 进行特征增强、相关性和 softmax 层进行全局特征匹配、以及自注意力层进行流传播来构建 GMFlow 框架，从而实现高准确性和高效率的光流估计。

    Nov, 2021

  • 光流分离架构与训练

    通过使用相同的现代培训技术和数据集，作者重访了三种主要的光流模型 PWC-Net，IRR-PWC 和 RAFT，观察到显着的性能提升，并表明这些培训细节的重要性和普遍性。新培训的 PWC-Net 和 IRR-PWC 模型显示出惊人的大幅改进，在 Sintel 和 KITTI 2015 基准测试中，其对比原始发布结果提高了 30％，在推理期间的运行速度也更快。RAF 的新培训实现了在 KITTI 2015 上的 Fl-all 得分 4.31％，比当时所有已发布的光流方法都更准确。

    Mar, 2022