Mar, 2023
透析神经元在门控循环单元序列-序列模型中的功能
Exposing the Functionalities of Neurons for Gated Recurrent Unit Based
Sequence-to-Sequence Model
TL;DR本文旨在报告关于Seq2Seq模型的科学发现，提供神经元水平的分析以解释为什么不带注意力的普通GRU-based Seq2Seq模型可以实现令牌定位，并发现了四种不同类型的神经元：存储，计数，触发和输出，并进一步揭示这些神经元共同工作的机制以产生正确的令牌在正确的位置。