Aug, 2023
易用注意力:Transformer 模型的简易自注意机制
Easy attention: A simple self-attention mechanism for Transformers
Marcial Sanchis-Agudo, Yuning Wang, Karthik Duraisamy, Ricardo Vinuesa
TL;DR提出一种名为 easy attention 的新型注意机制,用于改进用于预测混沌系统时间动态的 Transformer 神经网络,通过自注意力机制直接将注意力得分作为可学习参数,具有更强的鲁棒性和较低的复杂性,适用于重建和预测混沌系统的时间动态。