self-attention layer | BriefGPT

关键词self-attention layer

搜索结果 - 5

JoMA：通过 MLP 和注意力的联合动态解构多层变形器
我们提出了联合 MLP/Attention (JoMA) 动力学，这是一个新的数学框架，用于理解多层 Transformer 结构的训练过程。通过将自注意力层集成到 Transformers 中，仅保留了 MLP 层的修改动力学。JoMA
PDF9 months ago
揭示 Transformer 中的 Mesa 优化算法
通过逆向工程一系列经过训练的自回归 Transformer，我们发现其通过梯度驱动的学习中的 mesa-optimization 算法也可被改用于解决少样本监督任务，这表明 mesa-optimization 可能是大型语言模型在上下文学习
PDF10 months ago
Transformer 如何学习主题结构：迈向机制理解
本文研究 transformers 学习的机制和语义结构，揭示了 embedding 层和 self-attention 层如何编码语义结构，具体表现为同主题单词之间的嵌入内积和自注意力相对较高。
PDFa year ago
面向部位感知的动态模板初始化的人物再识别
本文提出了一种基于空间注意力的动态部件模板初始化模块，该模块使用骨干网较早层的中级语义特征动态生成部分模板。我们还探索了自适应加权部分描述符来量化局部属性的缺失或遮挡，增强了对人体各部分的表示的识别能力，并在整体、遮挡和部分 Re-ID 任
PDF2 years ago
DropAttention: 一种全连接自注意力网络的正则化方法
探索在 Transformers 中规范化注意权重以防止过度拟合，并表明 DropAttention 能够提高性能并减少过度拟合。
PDF5 years ago