CVPRJun, 2023

DIFT: 用于内存高效光流的动态迭代场变换

PDF
TL;DR本文介绍了一种轻量级低延迟和内存高效的动态迭代字段变换（DIFT）模型，适用于移动、增强现实、微型无人机、机器人和相机等边缘应用的光流估计，通过迭代精炼框架利用不同分辨率的代价体来实现。在 Snapdragon 8 Gen 1 HTP AI 加速器上，我们展示了第一个实时代价体光流 DL 体系结构，其 32 inf/sec 和 5.89 EPE (endpoint error) 在 KITTI 数据集上平衡了准确性和性能。
发现论文，激发创造
  • 通过半径分布正交代价体积实现内存高效的光流计算

    MeFlow 是一种新的内存高效的方法，用于高分辨率光流估计，通过使用局部正交费用体积和自注意力，在高分辨率输入下实现竞争性性能和最高的内存效率。

    Dec, 2023

  • DIP: 高分辨率光流的深度反演 Patchmatch

    本论文提出了一种基于 Patchmatch 的深度学习光流方法，通过传播和局部搜索获得高精度结果，并提出了一种新的反向传播方法来减少计算复杂度，实验证明该方法在 KTTI2015 基准测试上排名第一，在 Sintel 干净基准测试上排名第二，以较少的内存消耗在高分辨率数据集 DAVIS 上得到良好的细节保留结果。

    Apr, 2022

  • FastFlowNet：一种轻量级网络用于快速光流估计

    本文提出了一种基于深度学习的快速且精确的光流预测方法：FastFlowNet，其参数较少，适用于低功耗设备，且在合成和真实数据集上的实验证明了其有效性。

    Mar, 2021

  • 图像扩散中的紧急对应

    本文提出 DIffusion FeaTures (DIFT) 方法来确立图像之间的对应关系，在稳定扩散的情况下，DIFT 均能够在语义、几何和时间上优于弱监督方法以及其他对照组，尤其是在 SPair-71k 基准测试中，DIFT 相对于 DINO 和 OpenCLIP 的准确率分别提高了 19 个和 14 个点，即使在总体性能上表现相当的情况下，在 18 个类别中有 9 个可以超越最先进的监督方法。

    Jun, 2023

  • 直接代价体积处理实现精准光流计算

    通过对完整的四维成本体积进行操作，我们提出了一个光流估计方法，利用半全局匹配来优化四维成本体积，使得我们的方法比现有的光流方法更精确，速度更快，并在 Sintel 和 KITTI 2015 基准测试上优于所有已发布的通用光流方法。

    Apr, 2017

  • MemFlow: 光流估计与记忆预测

    MemFlow 是一种实时的光流估计和预测方法，通过使用内存中的历史运动信息实现光流的估计和预测，并通过适应不同视频分辨率来提高性能。

    Apr, 2024

  • NeuFlow：在边缘设备上实时高精度机器人光流估计

    我们提出了一种高效的光流架构 NeuFlow，通过全局到局部的匹配方案，在不同计算平台上显著提高了效率，并成功在小型机器人如无人机上实现了复杂的计算机视觉任务，如实时定位与地图构建（SLAM）。

    Mar, 2024

  • 使用密集逆搜索实现快速光流

    提出一种低时空复杂度的 Dense Inverse Search-based 方法，通过多尺度 patch 聚合和变分优化可有效提取光流，适用于需要高时间分辨率的实时视觉应用。

    Mar, 2016

  • NanoFlowNet: 一架纳米四旋翼上的实时密集光流

    本文提出了一种基于卷积神经网络和边缘计算硬件技术的光流估计方法，适用于纳米四旋翼在狭窄复杂环境中的安全和自主导航。通过对边缘设备进行优化和利用运动边界真实数据提高光流估计性能的训练方法，NanoFlowNet 在 MPI-Sintel 数据集上得到了很好的验证效果，同时还在 34 克纳米四轴飞行器上实现了基于视觉的障碍物避让任务。

    Sep, 2022

  • 深度学习光流在获取活性液晶的速度场方面优于 PIV

    基于深度学习的光流（DLOF）通过使用深度卷积神经网络在相邻视频帧中提取特征来估计像素级别的物体间动作，并对不同标记条件下的 MT 活性液晶的自发流动进行了数量化能力评估。我们比较了 DLOF 和常用技术粒子成像测速仪（PIV）的效果，发现对于密集标记的样品，DLOF 产生的速度场比 PIV 显著更准确。我们展示了 PIV 的故障是因为该算法在高密度情况下无法可靠区分方向平行于液晶导向子的对比度变化。而 DLOF 克服了这个限制。对于稀疏标记的样品，DLOF 和 PIV 的结果具有类似的准确度，但 DLOF 提供更高分辨率的场。我们的工作将 DLOF 确立为一种在广泛的活性、柔性和生物物理系统中测量流体流动的多功能工具。

    Apr, 2024