基于脉冲神经网络的仿生视觉关注技术应用于图案分类的硅视网膜研究
本文提出了基于视觉关注的两种事件视觉注意力模型,一种通过跟踪视野内的事件活动来定位关注区域,另一种基于 DRAW 神经模型和全微分注意力程序,使用 Phased LSTM 识别网络作为基线参考模型并在四个数据集上进行验证,获得了在平移和尺度不变性方面的提升。
Jul, 2018
本文提出了一个将注意机制与脉冲神经网络 (SNN) 相结合的新方法,以改进图表示学习的能力。该方法能够在学习过程中选择性地关注图中重要的节点和相应的特征,并在多个基准数据集上进行评估,结果显示其性能与现有的图学习技术相当。
Mar, 2024
我们通过计算方法研究了视觉注意力的生物学基础,分析了小鼠的视网膜和皮层电生理数据,结果显示在 V1 中约 10% 的神经元对显著和非显著的视觉区域有不同的响应,视觉注意力信息在视网膜反应中并未被追踪到,似乎视网膜对视觉注意力仍然是个陌生的概念,而皮层反应会被调节以解释视觉注意力信息;我们的研究为改进视觉假体系统的设计(这类系统通过植入于视网膜或皮层的电子植入物为视力受损者创造人工视觉感知)做出了贡献。
Aug, 2023
我们研究了连续脉冲流中的视觉显著性,并提出了一种基于完整脉冲神经网络的循环脉冲转换器框架,通过从连续的时空脉冲流中提取时空特征来实现对二进制脉冲流的有效处理。实验结果表明,我们的循环脉冲转换器框架在捕捉和突出脉冲流中的视觉显著性方面表现出了明显的改进幅度,不仅为基于脉冲的显著性分割提供了新的视角,也展示了全脉冲神经网络的转换器模型的新范式。
Mar, 2024
通过实验证明人类视觉搜索行为并建立了第一个基于 SNN 的视觉搜索模型,该模型结合了人工视网膜结构与尖峰特征提取、记忆和注视决策模块,通过群体编码实现快速高效的注视决策,能够学习类似人类或接近最佳的凝视策略,在搜索速度和准确性方面优于人类,并通过短注视决策延迟和稀疏激活实现高能效性。这一工作将神经科学和机器学习中的视觉建模联系起来,并为开发更高能效的计算机视觉算法提供了启示。
Oct, 2023
本文提出了神经视觉注意力算法(NeVA),并利用仿生视觉约束在神经网络上实现了类人的扫描路径生成。实验结果表明,该方法在类人扫描路径相似性方面优于现有无监督的人类注意力模型,同时可灵活地研究不同任务对视觉行为的影响,并在考虑不完美的视觉条件下的实际应用中表现出明显的优势。
Apr, 2022
通过 79 个实验和 7,810 个实验参与者的数据研究,揭示了同人类视觉选择性估计有显著重叠的被动关注技术,指出使用引导反向传播方法探测相对简单的神经网络架构产生的输入可视化是预测共享成分的最佳选择,这些结果帮助我们通过比较不同模型在图像信息选择性方面的相似性和差异性来评估领先的神经网络模型作为人类视觉模型的生物学和心理学的有效性。
Jul, 2021
脉冲神经网络 (SNNs) 提供了一种生物启发的计算机视觉方法,可以在处理视觉数据时提高效率并降低能耗。我们提出了一种异步生物合规神经元 (ABN),用于自动调整输入信号的变化。在各种数据集上的全面评估表明 ABN 在图像分类和分割、维持神经平衡和能效方面具有增强性能。
Nov, 2023
本文提出了一种基于全脉冲神经网络 (SNN) 架构的事件相关视频重建框架 (EVSNN),并采用 Leaky-Integrate-and-Fire (LIF) 神经元和自适应膜电位中间电位助推框架 (PA-EVSNN),通过对事件相关图像信息的处理, 实现与基于人工神经网络(ANN)的模型相当的性能,而且在事件驱动硬件上具有更高的计算效率。
Jan, 2022
本文介绍了一种用于眼动追踪的神经形态学方法,利用由 Dynamic Vision Sensor(DVS)摄像头捕获的纯事件数据。该方法结合了一个经过直接训练的脉冲神经网络回归模型,并利用了一种先进的低功耗边缘神经形态学处理器 Speck,旨在提高眼动追踪系统的精确度和效率。
Dec, 2023