May, 2024

关于具有身份的循环神经级联模型的表达能力

TL;DR循环神经级联(RNC)是循环神经网络的一类,其循环神经元之间没有循环依赖关系。其中具有正循环权重的子类 RNC + 与无星自由正则语言密切相关,这些语言是许多已确立的时间逻辑的表达能力。本研究排除了 RNC + 能够捕获超出正则范围的语言的可能性,该范围包括包含恒等元素的语言,即在不影响输出的情况下可以以任意次数出现的输入。同时,我们还建立了 RNC + 和半自动机级联之间的密切结构对应关系,表明每个神经元都可以等效地由一个三状态半自动机捕获,并且导致的一个显著结果是 RNC + 比三状态半自动机级联更为简洁。