Nov, 2017
可视化和 ' 诊断分类器 ' 揭示递归神经网络如何处理分层结构
Visualisation and 'diagnostic classifiers' reveal how recurrent and recursive neural networks process hierarchical structure
Dieuwke Hupkes, Sara Veldhoen, Willem Zuidema
TL;DR本文通过处理嵌套算数表达式的人工任务来研究神经网络如何学习和处理具有分层组合语义的语言，并发现递归神经网络和门控循环单元网络也可以在此任务上表现得十分出色。同时，我们提出诊断分类器的方法，可以有效地帮助我们了解神经网络的内部动态，这种方法可扩展至真实数据的更复杂和更深层的循环神经网络，有望推动当前最先进的自然语言处理模型的内部机理的更深入理解。