May, 2023

基于超低功率的 RISC-V 集群并行计算的光流估计在纳米无人机导航中的应用

PDF
TL;DR该研究提出了一种基于多核低功耗 RISC-V 微控制器单元的计算机视觉算法并行化策略，实验结果表明，该算法显著提高了在微型无人机上的帧率，使得最大飞行速度可以翻倍，并且仅使用前一单核实现的近三分之一时钟频率。
发现论文，激发创造
  • NanoFlowNet: 一架纳米四旋翼上的实时密集光流

    本文提出了一种基于卷积神经网络和边缘计算硬件技术的光流估计方法，适用于纳米四旋翼在狭窄复杂环境中的安全和自主导航。通过对边缘设备进行优化和利用运动边界真实数据提高光流估计性能的训练方法，NanoFlowNet 在 MPI-Sintel 数据集上得到了很好的验证效果，同时还在 34 克纳米四轴飞行器上实现了基于视觉的障碍物避让任务。

    Sep, 2022

  • 面向资源受限无人机的低延迟视觉惯性里程计，利用传感器加速的光流

    通过使用全局快门相机和 ASIC 构成的紧凑光流传感器来替换 VINS-Mono 流水线的特征跟踪逻辑，实现了 VIO 传感器系统的加速，降低了延迟和计算负载，从而使 VINS-Mono 操作性能提高到 50 FPS，将在资源受限设备上实现低延迟的 VIO 成为可能。

    Jun, 2024

  • NeuFlow：在边缘设备上实时高精度机器人光流估计

    我们提出了一种高效的光流架构 NeuFlow，通过全局到局部的匹配方案，在不同计算平台上显著提高了效率，并成功在小型机器人如无人机上实现了复杂的计算机视觉任务，如实时定位与地图构建（SLAM）。

    Mar, 2024

  • 基于事件光流的微型飞行器垂直降落

    本文介绍了一种将事件驱动的光流估计集成到飞行机器人控制环路中的算法，并开发了一个基于事件驱动光流的恒定离散降落控制器，实现了快速准确的降落动作。

    Jan, 2017

  • E-RAFT: 来自事件相机的稠密光流

    本文提出了一种针对事件相机的全新稠密光流计算方法，通过引入特征相关性与顺序处理的设计思路，相比于现有方案在数据集 MVSEC 上将终点误差降低了 23％，并提出一种新的数据集，更能反映现实场景中物体的运动情况，最终结果的终点误差比之前的方案减少了 66%。

    Aug, 2021

  • 基于异构 RISC-V 的安全纳米无人机导航 SoC

    Shaheen 是首个基于 RISC-V ISA 的异构主机 + 加速器架构完全基于 ULP SoC 硅原型，集成了 Linux 可用的 RV64 核心，符合 v1.0 核准的 Hypervisor 扩展，配备时序通道保护，同时还集成了用于通用 DSP 和减少和混合精度 ML 优化的 RV32 核心的高度可编程、能效和面积高效的多核集群，该 SoC 的能力已在与 nano-UAV 应用相关的各种基准测试上得到证明。

    Jan, 2024

  • MemFlow: 光流估计与记忆预测

    MemFlow 是一种实时的光流估计和预测方法，通过使用内存中的历史运动信息实现光流的估计和预测，并通过适应不同视频分辨率来提高性能。

    Apr, 2024

  • 基于事件相机的任意时间光流估计

    本研究提出了一种高帧率、低延迟的事件表示 Unified Voxel Grid 和基于事件的任意时刻光流估计网络 EVA-Flow，其中关键组件为堆叠的时空运动细化模块，可通过时空运动细化预测时间密集的光流并增强其准确性，同时还引入了用于无监督评估中间光流的修正流变形误差损失 (RFWL)。

    Jul, 2023

  • 基于开源和开放硬件的深度学习视觉导航引擎 —— 用于自主纳米无人机

    通过使用超低功耗的 GAP8 芯片与卷积神经网络，我们实现了一种使用图像视觉引导的自主导航算法，在小型纳米无人机上实现了全自主室内导航，提高了其对高速飞行中的障碍物的响应速度，同时公开了代码、数据集和模型参数，以促进无人机研究的发展

    May, 2019

  • SciFlow：自洁迭代强化轻量级光流模型

    光流估计是一种重要的视觉任务，该论文介绍了两种技术（自动清理迭代和回归聚焦损失），以增强光流模型的能力，并解决光流回归模糊性的问题，实验结果表明这些技术在轻量级光流模型中能够显著降低误差指标。

    Apr, 2024