Sep, 2022

共振网络的神经形态视觉里程计

PDF
TL;DR本文提出一种利用神经学中向量符号体系（VSA）的计算范式构建的适用于神经形态计算的视觉里程计（VO）算法。该 VO 网络不仅可以生成并存储所呈现视觉环境的工作内存，同时在估计摄像机的位置和方向变化的同时更新这个工作内存。该文实验验证了该方法在机器人的简单任务和基于事件的数据集上关于 SLAM 任务的高性能表现。
autonomous agentsvisual odometryneuromorphic computing hardwarevector symbolic architecturesimultaneous localization and mapping
发现论文，激发创造
  • 用共振器网络进行神经形态视觉场景理解

    提出了一种基于神经形态学的解决方案，使用基于向量符号体系结构的高效因式分解网络，实现物体位置和其刚性变换的推断。

    Aug, 2022

  • 用于具身视觉的模态不变视觉里程计

    提出一种基于 Transformer 的模态不变的 Visual Odometry 方法，可以应对不同或变化的导航代理的传感器套件，该模型在仅使用部分数据进行训练时，优于先前的方法。

    Apr, 2023

  • 端到端学习的基于事件和图像的视觉里程计

    RAMP-VO 是第一个端到端学习的事件 - 图像式视觉里程计系统，它利用了新颖的 RAMP 编码器，比现有异步编码器快 8 倍，准确性高出 20%；RAMP-VO 还采用了一种新颖的姿态预测技术，用于初始化时预测未来的姿态。尽管仅在模拟环境中进行训练，RAMP-VO 在传统的真实世界基准测试以及新引入的 Apollo 和 Malapert 着陆序列上分别比基于图像和事件的方法提高了 52% 和 20%，为太空中的稳健异步视觉里程计铺平了道路。

    Sep, 2023

  • 机器人定位与建图终稿 —— 用于自监督式深度视觉测距的顺序对抗学习

    使用深度神经网络进行图像生成任务以提取高级特征，进而估计视觉里程碑的深度和位姿，同时利用光流和循环神经网络以及生成对抗网络改进深度和位姿的估计精度。

    Sep, 2023

  • 自监督深度视觉里程计与在线自适应

    本文提出了一种基于在线元学习算法的自监督 Visual Odometry（VO）方法，利用了卷积长短时记忆（convLSTM）和特征对齐技术，实现了 VO 网络的持续适应新环境和快速自我更新。实验证明，该方法在未见过的户外场景、虚拟到真实世界和室外到室内环境转换中都明显优于基于自监督学习的 VO 基线方法。

    May, 2020

  • 神经体积记忆用于视觉行动控制

    利用单目深度相机、神经体积记忆和几何先验知识，提出了一种新的方法来解决多种恶劣地形条件下的机器人步态规划问题。

    Apr, 2023

  • 机器人操纵中的避障神经形态学方法

    利用神经形态学处理器，通过对事件数据进行卷积脉冲神经网络处理、将神经激活解码为规避动作、并使用动态运动基元调整路径规划，我们开发了一种神经形态学方法来进行具有摄像头的机械手的避障。通过模拟和实际世界实验，我们的神经形态学方法在可靠避免即将发生的碰撞方面表现出色，并且能够适应轨迹调整而对安全和可预测性标准的影响较小，这些结果为引入 SNN 学习、利用神经形态学处理器以及进一步探索神经形态学方法的潜力提供了动力。

    Apr, 2024

  • LS-VO：学习稠密光学子空间用于鲁棒地视觉里程计估计

    本文提出了一种新颖的深度网络结构来解决相机自我运动估计问题，并使用自编码器网络找到光流场的非线性表示，从而显著提高了估计性能。

    Sep, 2017

  • 脑启发式视觉里程计：通过系统方法实现速度和可解释性的平衡

    该研究介绍了一种集传统视觉测距方法和全连接网络方法于一体的创新系统，通过独立处理各个自由度并注重因果推断来提高可解释性，从而在保持精度的同时大幅提高处理速度，并在根均方误差中实现 5% 的降低，成功弥合长期以来视觉测距研究中速度和精度之间的鸿沟，为实时导航和机器人系统的广泛应用提供了更高效和可靠的视觉测距解决方案。

    Dec, 2023

  • 视觉里程计再探：应该学习什么？

    本文提出了一种单目视觉里程计算法，它结合了基于几何方法和深度学习的思想，并利用两个卷积神经网络进行深度估计和光流估计。在 KITTI 数据集上的实验表明，该算法具有较强的鲁棒性和良好的性能。

    Sep, 2019