AAAISep, 2017
DiSAN: 面向无 RNN/CNN 的语言理解的定向自注意力网络
DiSAN: Directional Self-Attention Network for RNN/CNN-Free Language Understanding
Tao Shen, Tianyi Zhou, Guodong Long, Jing Jiang, Shirui Pan...
TL;DR提出了一种新颖的方向性多维度自注意力机制 DiSAN,用于句子编码,相对于复杂的 RNN 模型,它在预测质量和时间效率方面表现更好,并在多个数据集上得到了最优的测试准确性表现。