Jan, 2024
Transformer 与大脑皮层波:跨时间上下文编码器
Transformers and Cortical Waves: Encoders for Pulling In Context Across Time
Lyle Muller, Patricia S. Churchland, Terrence J. Sejnowski
TL;DR将完整的输入序列转换为长的 “编码向量”,通过计算输入序列中单词对之间的关联,增强转换器中的时间上下文,而类似的编码原则可以通过神经活动在大脑皮层区域内或整个大脑尺度上传播的波动实现。