基于Tempotron的脉冲形状鉴别: 一种在GPU上的强大分类器
本文介绍了使用深度学习模型中的潜在空间数据来学习代表性的原型用于决策过程的阐释,重点关注对二维时间序列数据的分类,如检测临床心动过缓、早产儿呼吸暂停和语音识别,并通过优化原型多样性和稳健性,提高了已有模型的性能。
Apr, 2019
本文介绍了一种基于神经网络的工具箱nnAudio,该工具箱可以将时间域转换为频率域,并可以在生成频谱图的同时进行反向传播,从而可以进行优化。实验结果表明,在使用GPU时,nnAudio可将waveform-to-spectrogram转换时间显著缩短。
Dec, 2019
本文研究了基于神经形态计算的尖峰神经网络(SNN)模型,用于过滤在高能物理实验中使用的传感器电子学数据。我们提出了一种开发紧凑型神经形态模型的方法,该模型根据粒子的横向动量过滤传感器数据,以减少发送到下游电子设备的数据量。传入的电荷波形被转换为二进制事件流,并由SNN进行处理。我们提供了关于各种系统设计选择的见解——从数据编码到训练算法的最佳超参数,为了获得一个精确而紧凑的用于硬件部署的SNN。我们的结果表明,使用进化算法和优化的超参数训练的SNN获得了约91%的信号效率,并且参数数量几乎是深度神经网络的一半。
Jul, 2023
通过使用数据驱动的模拟框架,我们展示了利用基于旋涡磁性自转振荡器(STVO)的自旋电子学纳米结构进行图像分类的硬件基础脉冲网络(ESN)的演示。通过模拟STVO动力学,我们有效地开发、优化和测试了基于STVO的ESN,用于使用MNIST数据集进行图像分类。我们展示了我们解决EMNIST字母和时尚MNIST数据集的分类挑战的灵活性。尽管我们的模型在MNIST数据集上实现了最先进的准确性水平,但在EMNIST字母和时尚MNIST上的性能较低,这是由于系统架构的相对简单性和任务复杂性的增加。我们期望DD-TEA框架将有助于探索更专门的神经架构,最终提高分类准确性。这种方法还有望用于研究和开发专用的学习规则,以进一步提高分类性能。
Aug, 2023
利用模拟电子电路的基本原理――基尔霍夫电流定律,引入一种称为KirchhoffNet的独特类神经网络模型,与消息传递神经网络和连续深度网络密切相关。我们证明即使在没有传统层(如卷积、池化或线性层)的情况下,KirchhoffNet在MNIST数据集上达到了98.86%的测试准确率,与最新成果相媲美。KirchhoffNet更引人注目的是其在硬件领域的潜力。当代深度神经网络通常部署在GPU上,而KirchhoffNet可以通过模拟电子电路实现。此外,我们证明了无论KirchhoffNet中有多少参数,其正向计算始终可以在1/f秒内完成,其中f表示硬件的时钟频率。这一特征为实现超大规模神经网络提供了有希望的技术。
Oct, 2023
本研究评估了在边缘TPU和嵌入式GPU处理器上基于医学图像的分割和分类的完全嵌入式医疗诊断辅助设备的能耗,以色视底图像的青光眼诊断为例展示了在嵌入式板上实时执行分割和分类的可能性,并强调了所研究实现的不同能源需求。
Nov, 2023
该论文回顾了受哺乳动物视觉皮层启发的神经模型研究,重点介绍了脉冲耦合神经网络(PCNN)的数学形式、变体和文献中的其他简化方法,并提出了在图像处理和计算机视觉领域的多个应用,包括图像分割、边缘检测、医学成像、图像融合、图像压缩、物体识别和遥感。这些应用的结果表明,PCNN架构产生了对各种计算机视觉任务有用的感知信息。
Jun, 2024
本研究针对传统计算机上实现递归神经网络时的高计算成本问题,提出使用自旋电子振荡器作为动态神经元在硬件中实现递归神经网络。通过数值仿真和时间反向传播训练方法,我们构建的多层网络在序列数字分类任务中达到89.83±2.91%的准确率,效果与等效软件网络相当,为处理时间序列提供了低能耗的新方案。
Aug, 2024
本研究提出了TinyTNAS,一种专门为TinyML时间序列分类设计的硬件感知多目标神经架构搜索工具,解决了传统方法对GPU依赖的问题。它允许用户在给定的内存、FLASH和MAC操作限制内,快速找到最佳网络架构,并在10分钟内完成搜索,同时在RAM、FLASH和MAC的使用上均显著降低。TinyTNAS展示了在资源受限环境中优化神经网络架构的能力,确保了高效能与性能。
Aug, 2024