Sep, 2024

实现可分性归一化的递归神经电路的无条件稳定性

TL;DR本研究解决了传统神经模型在生物学合理性与可训练性方面的瓶颈。通过将动态可分性归一化与ORGaNICs模型的稳定性关联,我们证明了在递归权重矩阵为单位矩阵时,ORGaNICs电路具有无条件局部稳定性。研究还表明,ORGaNICs在静态图像分类任务中优于其他神经动力学模型,并能够通过时间反向传播进行训练,有效应对梯度消失和梯度爆炸的问题。