Oct, 2023

KirchhoffNet: 电路桥接的消息传递和连续深度模型

TL;DR利用模拟电子电路的基本原理――基尔霍夫电流定律,引入一种称为KirchhoffNet的独特类神经网络模型,与消息传递神经网络和连续深度网络密切相关。我们证明即使在没有传统层(如卷积、池化或线性层)的情况下,KirchhoffNet在MNIST数据集上达到了98.86%的测试准确率,与最新成果相媲美。KirchhoffNet更引人注目的是其在硬件领域的潜力。当代深度神经网络通常部署在GPU上,而KirchhoffNet可以通过模拟电子电路实现。此外,我们证明了无论KirchhoffNet中有多少参数,其正向计算始终可以在1/f秒内完成,其中f表示硬件的时钟频率。这一特征为实现超大规模神经网络提供了有希望的技术。