BriefGPT.xyz
Ask
alpha
关键词
interpretable attention mechanisms
搜索结果 - 1
一种用于稀疏和结构化神经注意力的正则化框架
提出了一种基于平滑的最大值算子的新的稀疏和结构化的注意力机制,它不仅包括 softmax 和稀疏 max 作为特例,还可以融合现代结构惩罚,可以应用于神经网络中,在文本蕴含、机器翻译和句子摘要等任务中表现良好,提高了可解释性并保持性能优越。
PDF
7 years ago
Prev
Next