Sep, 2023

端到端学习的基于事件和图像的视觉里程计

PDF
TL;DRRAMP-VO 是第一个端到端学习的事件 - 图像式视觉里程计系统，它利用了新颖的 RAMP 编码器，比现有异步编码器快 8 倍，准确性高出 20%；RAMP-VO 还采用了一种新颖的姿态预测技术，用于初始化时预测未来的姿态。尽管仅在模拟环境中进行训练，RAMP-VO 在传统的真实世界基准测试以及新引入的 Apollo 和 Malapert 着陆序列上分别比基于图像和事件的方法提高了 52% 和 20%，为太空中的稳健异步视觉里程计铺平了道路。
发现论文，激发创造
  • 基于事件的视觉测距：通过连续时间高斯过程回归实现全部时间分辨率

    本文提出了使用连续时间轨迹估计和带有物理启示的高斯过程回归，直接估计带有个体事件测量时间的完整立体视觉里程计流水线，避免了传统的分组或近似技术，并成功在 MVSEC 数据集上评估和验证，相对误差分别为 7.9e-3 和 5.9e-3，这比现有公开事件基立体视觉里程计流水线的性能高两倍和四倍。

    Jun, 2023

  • 深度事件视觉里程计

    基于事件相机，本研究提出了第一个单目纯事件系统 Deep Event VO (DEVO)，通过稀疏追踪选定的事件块，显著减少了七个真实场景基准测试上的位姿跟踪误差，较单纯事件方法减少了 97%，并且通常优于或接近立体或惯性方法。

    Dec, 2023

  • 共振网络的神经形态视觉里程计

    本文提出一种利用神经学中向量符号体系（VSA）的计算范式构建的适用于神经形态计算的视觉里程计（VO）算法。该 VO 网络不仅可以生成并存储所呈现视觉环境的工作内存，同时在估计摄像机的位置和方向变化的同时更新这个工作内存。该文实验验证了该方法在机器人的简单任务和基于事件的数据集上关于 SLAM 任务的高性能表现。

    Sep, 2022

  • 基于事件的立体视觉里程计

    本文提出了一种使用事件相机实现实时的视觉里程计的解决方案，其中包括基于视觉一致性的立体事件数据融合的半密集三维场景重建以及通过选定的地图和事件数据表示解决的姿态恢复问题。该系统成功利用事件相机的优势，在高速和大动态范围场景下进行视觉里程计，并在标准 CPU 上以实时运行，已在公开数据集和作者的数据集上进行了测试。

    Jul, 2020

  • DeepVO：用深度递归卷积神经网络实现端到端视觉里程计

    本文提出了一种新的、基于深度循环卷积神经网络（RCNNs）的单目 VO 的端到端框架，通过该框架，可以直接从一系列原始 RGB 图像（视频）中推断出姿态，同时具备学习有效特征表示、深度循环神经网络中的序列动力学和关系的功能，实验验证了该技术具备与传统 VO 系统相当的竞争力。

    Sep, 2017

  • 基于事件流的视觉目标跟踪：一个高分辨率基准数据集和一种新的基线模型

    通过多模态跟踪和知识蒸馏方法，在高分辨率事件信号下实现了高速低延迟的视觉跟踪的研究。

    Sep, 2023

  • 脑启发式视觉里程计：通过系统方法实现速度和可解释性的平衡

    该研究介绍了一种集传统视觉测距方法和全连接网络方法于一体的创新系统，通过独立处理各个自由度并注重因果推断来提高可解释性，从而在保持精度的同时大幅提高处理速度，并在根均方误差中实现 5% 的降低，成功弥合长期以来视觉测距研究中速度和精度之间的鸿沟，为实时导航和机器人系统的广泛应用提供了更高效和可靠的视觉测距解决方案。

    Dec, 2023

  • 非完整地面车辆的事件驱动视觉里程计

    基于事件的运动估计在提取和跟踪稳定特征方面仍然存在困难，因此通常认为与其他传感器的融合是必需的。在本研究中，我们利用 Ackermann 转向平台的约束非完整运动模型，实现了可靠的纯事件型视觉测距。通过将常规帧摄像机的单特征非线性扩展到准时间连续事件轨迹，并通过变量程度泰勒展开实现多项式形式，我们通过直方图投票轻松实现对多个事件轨迹的鲁棒平均值。在模拟和真实数据上的实验表明，我们的算法实现了准确而稳健的车辆瞬时旋转速度估计，从而在正常条件下与基于帧传感器获得的增量旋转相当。此外，我们在具有挑战性的照明场景中明显优于传统的替代方法。代码可在 https://github.com/gowanting/NHEVO 上获取。

    Jan, 2024

  • IMU 辅助的事件驱动立体视觉里程计

    通过建立事件的生成模型来解决映射和相机姿态跟踪的问题，并提出提高事件边缘像素采样效率以及结合时间立体结果和静态立体结果来改善映射性能，同时通过引入陀螺仪测量作为先验来解决相机姿态跟踪中的退化问题，通过公开数据集的实验证明了改进的方法的有效性。

    May, 2024

  • 用于具身视觉的模态不变视觉里程计

    提出一种基于 Transformer 的模态不变的 Visual Odometry 方法，可以应对不同或变化的导航代理的传感器套件，该模型在仅使用部分数据进行训练时，优于先前的方法。

    Apr, 2023