TactileSGNet:面向基于事件的触觉物体识别的脉冲图神经网络
本文介绍了一个基于事件触觉感测器和多模式脉冲神经网络的事件驱动的视觉触觉感知系统,评估了其在两个机器人任务上的表现,并提供了可用于其他研究的数据集。
Sep, 2020
本研究提出一种新的神经元模型 “位置尖峰神经元”,用以提取事件数据特征,同时将其与时间尖峰响应模型相结合,以构建事件驱动触觉学习的混合模型。实验表明,该模型在提高触觉学习效果和节能方面有着显著的优越性。
Jul, 2022
本文提出了一种名为 “位置尖峰神经元” 的新型神经元模型,用于提取基于事件的触觉数据的特征,并探究了其在事件驱动触觉学习中的能力。作者将该模型应用于两个混合模型中,以捕捉事件驱动触觉数据中的复杂时空依赖性,并证明其在节能方面优于人工神经网络(ANNs)。
Oct, 2022
智能系统在我们日常生活中变得越来越重要,需要新的交互方式。本文提出的脉冲卷积神经网络利用事件和深度数据进行手势识别,通过在嵌入式系统上进行离线训练和评估,并使用开源的神经形态计算框架 LAVA 进行模拟。研究结果表明,在深度信息和模态融合中,时间编码及不同编码的数据对网络性能和泛化能力有积极效果。
Jan, 2024
通过使用事件摄像头直接训练尖峰神经网络,以设计快速高效的汽车嵌入式应用程序,并且采用了最新的尖峰反向传播方法,成功地针对 GEN1 汽车检测事件数据集提出了尖峰神经网络实现目标检测的方法。
May, 2022
基于 iCub 机器人指尖电容触觉传感器记录了布莱叶盲文字母数据集,以比较前馈和循环脉冲神经网络在 Intel Loihi 神经形态芯片上进行的快速和有效推理,并通过使用代理梯度的 BPTT 进行离线训练和比较,结果表明循环脉冲神经网络在基于事件的输入上比 LSTM 节能~500 倍,为只有~30mW 的总功率。
May, 2022
基于事件的传感器与其高时间分辨率(1 微秒)和动态范围(120dB),能够在车辆和无人机等高速平台中部署。然而,事件的高度稀疏和波动性对基于人工神经网络(ANNs)的传统目标检测技术构成了挑战。相比之下,脉冲神经网络(SNNs)由于其固有的时间动态性,在表示基于事件的数据方面非常适用。我们特别演示了膜电位动力学如何在波动事件上调节网络活动,并增强稀疏输入的特征。此外,脉冲触发的自适应阈值可以稳定训练,进一步提高网络性能。基于这一点,我们开发了一种高效的用于基于事件的目标检测的脉冲特征金字塔网络。我们的提出的 SNN 在 Gen1 基准数据集上取得了显著的成绩,达到了 47.7%的平均精度(map50),超过了以前最好的 SNN 9.7%,并展示了 SNN 在基于事件的视觉领域的潜力。我们的模型具有简洁的结构,同时保持了高精度和更低的计算成本,这是稀疏计算的结果。我们的代码将公开提供。
Jul, 2023
本研究提出了一种基于多模态对象识别的分析和数据驱动的方法,利用具有高分辨率触觉传感器的三指驱动夹爪进行压缩和释放探索过程(EPs),采集手指关节上的角度传感器获取触觉图像和动觉信息,然后,利用 LSTM 神经网络进行分类,最后通过贝叶斯和神经推理方法融合,对 36 种物体进行测试,结果表明贝叶斯分类器提高了物体识别能力并优于神经网络分类器。
Jun, 2023
本文提出了一种简单而有效的基于机器学习的方法,使用混合 Convolutional Spiking Neural Network 和生物启发式事件驱动突触可塑性规则进行手势分类的训练和测试。该方法在不同受试者和任务中进行了测试,可以对不同的手势类别和运动想象任务进行准确的识别,准确率达 92.74%至 97.07%。
Apr, 2023
我们开发了一种基于脉冲神经网络的系统,称为 Spiking Gating Flow(SGF),用于在线动作识别,可在较小的训练 / 推理数据数量比率下实现与深度学习相当的准确性,同时仅需要单次训练时代。
Jun, 2022