BriefGPT.xyz
Jun, 2019
顺序神经网络作为自动机
Sequential Neural Networks as Automata
HTML
PDF
William Merrill
TL;DR
本研究试图从理论的角度解释神经网络的计算类型，通过将它们与自动机相关联，并使用定义“实时网络有界精度接受语言”的方法来解释网络内存度量，对可被各种循环网络、注意力和卷积网络接受的语言类别进行了表征。研究发现LSTM功能类似于计数器机，并将卷积网络与子正则层次结构相关联。这些理论洞察力有助于解释神经计算，以及神经网络与自然语言语法之间的关系。
Abstract
This work attempts to explain the types of
computation
that
neural networks
can perform by relating them to
automata
. We first define what
→