多任务学习下多头注意力中的功能专业化解释与利用

EMNLPOct, 2023

多任务学习下多头注意力中的功能专业化解释与利用

Interpreting and Exploiting Functional Specialization in Multi-Head Attention under Multi-task Learning

Chong Li, Shaonan Wang, Yunhao Zhang, Jiajun Zhang, Chengqing Zong

TL;DR通过对 Transformer 模型的多头注意力机制进行解释和多任务训练，提出功能专门化的方法来改善模型性能。实验证明多头注意力在多任务训练后会发展功能专门化现象，并且这种训练策略能够提高多任务学习和迁移学习的性能，而不增加任何参数。

Abstract

transformer-based models, even though achieving super-human performance on several downstream tasks, are often regarded as a black box and used as a whole. It is still unclear what mechanisms they have learned, especially their core module: →

transformer-based models multi-head attention functional specialization multi-task training model performance

发现论文，激发创造

多头注意力的优化和泛化

使用多头自注意力机制，经过一定的初始条件和训练，可以优化和推广 Transformer 模型的核心机制，获得收敛和泛化保证。

Oct, 2023

人类引导下解释性注意力模式在摘要和主题分割中的应用

该论文介绍了一种结合人机交互的流程来发现重要的任务特定的注意力模式，然后注入到原始模型和较小的模型来提高模型的准确性与效率，取得了在提取式摘要和主题分割方面显著提高的结果。

Dec, 2021

分析多头自注意力：专门的头部承担重任，其余部分可被剪枝

研究了 Transformer 模型中的多头自注意力和编码器在神经机器翻译中的贡献和作用，提出了一种基于随机门和可微松弛 L0 正则化的新型剪枝方法，在不严重影响性能的情况下，成功删除了大部分注意头。

May, 2019

抽象化摘要中的多头注意力理解

本文研究了适用于抽象总结的多头自注意机制的可解释性，介绍了三个度量衡来评估关注头的重要性，发现相对位置的头对总结表现至关重要，不建议弃掉，而强制稀疏性似乎不能显着提高可解释性。

Nov, 2019

十六个头真的比一个好吗？

本研究表明，即使使用多重头部训练模型，实质上也可以在测试时间删除大量的注意力头而不会对性能产生显著影响，可以通过剪枝算法进一步降低模型的复杂度、提高速度和内存效率，并提供关于哪些模型部分更依赖于多头注意力的初步证据，并发现训练动态在多头注意力带来的收益中扮演着重要角色。

May, 2019

Heads 假设：一种统一的统计方法，用于理解 BERT 中的多头注意力

提出一种新的方法，通过假设检验来形式化简单而有效的分数，从而分类定位 transformer-based model 的 attention heads 中的不同角色，可以更准确地回答一些有关 BERT 模型的问题，如多种功能角色在同一 attention head 中的共存，attention heads 在不同层之间的分布以及特定 NLP 任务对这些功能角色的影响。

Jan, 2021

多头注意力：合作而非串联

该论文提出了一种协作式多头注意力层，该方法通过共享 key/query 投影来降低注意力层中参数的数量，可以用于任何变压器体系结构，并对语言理解、机器翻译和计算机视觉方面进行了验证和实验，并可将预训练的多头注意力层重新参数化为协同注意力层，使 key 和 query 投影的大小减小了 4 倍，而准确性和速度保持不变。

Jun, 2020

多任务变形金刚模型中的新兴行为是什么？

该研究探讨了多任务训练中非目标头的行为，发现它们表现出新兴行为，可以解释目标任务或超出其原始任务范围，这表明多任务训练可用于解释性和泛化。

Apr, 2021

超网络中的注意力

使用超网络将多头注意力重新定义为低维潜在代码来加强 Transformer 的组合泛化能力，在抽象推理任务上展示了模型规模和数据扩展如何实现组合泛化并生成功能结构化的潜在代码。

Jun, 2024

预训练 Transformer 中的紧密联系模块化

本文研究使用预训练的 Transformers 中是否存在模块化，发现神经元具有功能专业化，可以通过 Mixture-of-Experts 将分组神经元分配到对应功能模块中。在预训练阶段，模块化结构会更快地稳定，文献代码和数据可在链接中获得。

May, 2023