Oct, 2023

眼动与低延迟脉冲神经网络的高能效视觉搜索

PDF
TL;DR通过实验证明人类视觉搜索行为并建立了第一个基于 SNN 的视觉搜索模型，该模型结合了人工视网膜结构与尖峰特征提取、记忆和注视决策模块，通过群体编码实现快速高效的注视决策，能够学习类似人类或接近最佳的凝视策略，在搜索速度和准确性方面优于人类，并通过短注视决策延迟和稀疏激活实现高能效性。这一工作将神经科学和机器学习中的视觉建模联系起来，并为开发更高能效的计算机视觉算法提供了启示。
human visioneye movement strategyspiking neural networkvisual searchsaccade decision
发现论文，激发创造
  • 一种低功耗的神经形态学方法实现高效眼动跟踪

    本文介绍了一种用于眼动追踪的神经形态学方法，利用由 Dynamic Vision Sensor（DVS）摄像头捕获的纯事件数据。该方法结合了一个经过直接训练的脉冲神经网络回归模型，并利用了一种先进的低功耗边缘神经形态学处理器 Speck，旨在提高眼动追踪系统的精确度和效率。

    Dec, 2023

  • 利用可训练的动态能量检测和自注意力网络建模人类视觉运动处理以实现自适应运动融合

    本文介绍了一个基于计算机视觉和人类动态视觉系统的深度学习模型，该模型采用可训练的动量能量感知和一种自适应运动集成和分离的循环自我关注网络相结合的方法，能够更好地解释人类视觉运动处理。

    May, 2023

  • 机器凝视背后：带有生物启示约束的神经网络表现出类似于人类的视觉关注

    本文提出了神经视觉注意力算法（NeVA），并利用仿生视觉约束在神经网络上实现了类人的扫描路径生成。实验结果表明，该方法在类人扫描路径相似性方面优于现有无监督的人类注意力模型，同时可灵活地研究不同任务对视觉行为的影响，并在考虑不完美的视觉条件下的实际应用中表现出明显的优势。

    Apr, 2022

  • 基于脉冲神经网络的仿生视觉关注技术应用于图案分类的硅视网膜研究

    本文回顾了视觉注意机制的生物学背景，并介绍了一个基于基于感知机制和脉冲神经网络的事件视频分类的案例研究，初步结果表明其有效性。

    May, 2021

  • AutoSNN: 实现能效高的脉冲神经网络

    通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数，我们提出一种称为 AutoSNN 的脉冲感知神经架构搜索框架，成功搜索出了在准确性和能量效率方面优于手工设计的 SNN 的架构。

    Jan, 2022

  • 结合眼动跟踪、软件视网膜和深度学习的高效自我中心视觉感知

    本文介绍了利用生物学方法实现高效自我中心感知的持续性工作，将哺乳动物视网膜的空间变体成像结构与深度学习方法相结合，在控制眼动眼镜的凝视位置的情况下，我们演示了将图像预处理为因子 3 的 DCNN 输入，减少必需训练的时期并在 26,000 多个物体的图像库上训练和验证系统时可获得超过 98% 的分类准确率。

    Sep, 2018

  • 脉冲神经网络在视觉地点识别中的应用

    在机器人领域，脉冲神经网络（SNNs）在神经元形态硬件上的实现为其高效能源、低延迟带来了巨大的潜力。我们的论文着重介绍了 SNN 在视觉场所识别（VPR）中的三个创新。首先，我们提出模块化 SNN，每个 SNN 代表一组非重叠的地理位置，为大型环境提供可扩展的网络。其次，我们提出模块化 SNN 集合，多个网络代表同一地点，与单一网络模型相比显著提高了准确性。我们的 SNN 非常紧凑且小巧，仅含有 1500 个神经元和 474k 个突触，因此非常适合进行集合操作。最后，我们研究了序列匹配在基于 SNN 的 VPR 中的作用，这是一种使用连续图像进行场所识别的技术。我们分析了 SNN 对集合操作和序列匹配的响应性，并与其他 VPR 技术进行了比较。我们的贡献突出了 SNN 在 VPR 中的可行性，提供了可扩展和稳健的解决方案，为其在各种对能源敏感的机器人任务中的应用铺平了道路。

    Nov, 2023

  • 零样本目标身份推断在视觉搜索中的应用

    本文提出了 InferNet 模型来通过观察人眼的运动轨迹进行目标推断，并且证明了该模型在实验中表现优秀，甚至在没有物体特异性训练的情况下也能完成任务。

    Jul, 2018

  • 自动驾驶中高效的目标检测：基于脉冲神经网络的性能、能耗分析以及开放集合对象发现的见解

    此篇论文讨论了自动驾驶车辆场景图像数据中的物体检测建模任务中的性能、效率和开放域学习的问题，并证明了通过脉冲神经网络（SNNs）可以实现表现出色且高效的模型，与非脉冲神经网络相比，能够节省高达 85% 的能源消耗，并且在图像噪声下具有稍微改进的稳健性。

    Dec, 2023

  • 通过势辅助的脉冲神经网络实现基于事件的视频重建

    本文提出了一种基于全脉冲神经网络 (SNN) 架构的事件相关视频重建框架 (EVSNN)，并采用 Leaky-Integrate-and-Fire (LIF) 神经元和自适应膜电位中间电位助推框架 (PA-EVSNN)，通过对事件相关图像信息的处理， 实现与基于人工神经网络（ANN）的模型相当的性能，而且在事件驱动硬件上具有更高的计算效率。

    Jan, 2022