May, 2023
基于树突积分的二次神经网络超越传统的人工网络
Dendritic Integration Based Quadratic Neural Networks Outperform Traditional Aritificial Ones
Chongming Liu, Songting Li, Douglas Zhou
TL;DR将生物神经元属性纳入人工神经网络以增强计算能力是机器学习领域中面临的重大挑战，我们提出了一种新颖的人工神经网络模型 DIQNN (Dendritic Integration-Based Quadratic Neural Network)，该模型在各种分类任务中表现出优于传统人工神经网络的性能。为了降低 DIQNN 的计算成本，我们介绍了一种低秩 DIQNN，发现它可以保持原始 DIQNN 的性能。我们进一步提出一个边界来描述泛化误差，并在理论上证明该边界在训练过程中会单调增加。我们通过数值实验展示了泛化性和我们的边界之间的一致性。最后，通过将该边界整合到损失函数中，我们的实验结果证明了测试精度的变化确实得到了加速。我们的工作提供了一种新颖的、受大脑启发的人工神经网络模型，优于传统人工神经网络，并提供了分析分类任务中泛化误差的理论框架。