self-attention heads | BriefGPT

关键词self-attention heads

搜索结果 - 5

ACL用于对抗性检测的输入特定注意力子网络
本文提出了一种利用自注意力头来进行对抗检测的方法，在 10 个 NLU 数据集上通过构建输入特定的自注意力子网络并提取三个特征来鉴别真实和对抗性样本，相对于当前最先进的技术，对 BERT 编码器的对抗检测准确度明显提高（超过 7.5％），并
PDF2 years ago
COLING理解基于预训练 BERT 的方面情感分析
本文分析了 BERT 上预先训练的隐藏表示，用于方面为基础的情感分析（ABSA）任务。作者发现，BERT 使用非常少的自我关注头来编码上下文单词和方面的意见词。大多数方面的表示特征都专注于领域（或产品类别）和方面本身的细粒度语义，而不是携带
PDF4 years ago
EMNLP当 BERT 玩彩票时，每张彩票都是获胜的
本文从彩票猜想的角度探究了大型基于 Transformer 的模型可以通过剪枝获得可比拟完整模型性能的子网络。使用结构剪枝和数量剪枝对 Fine-tuned BERT 进行实验，发现即使是最差的子网络也表现良好，表明预训练 BERT 的大多
PDF4 years ago
ACL从局部注意力到全局聚合：深入探究 BERT
通过使用梯度归属法分析，我们找出了自注意力头在 transformer 架构中的局部行为与全局行为之间的区别。此外，我们观察到，尽管混合上下文信息导致了注意力和归属度量之间有明显的偏差，但有些特定的模式在深度学习的所有层都是存在的。
PDF4 years ago
BERT 中的 Attention 头是否跟踪句法依赖关系？
本研究探讨预训练变形金刚语言模型中的注意头在多大程度上隐含捕获了句法依赖关系，并使用两种方法提取每层 / 头 attention 权重中的隐含依赖关系，比较它们与基准 UD 树的差异。结果表明，这些模型有一些跟踪特定依赖类型的专业注意头，但
PDF5 years ago