attention patterns | BriefGPT

关键词attention patterns

搜索结果 - 13

MoA: 自动大规模语言模型压缩的稀疏注意力混合
稀疏注意力能够有效缓解大型语言模型在长上下文中的内存和吞吐量需求，我们提出了混合注意力（MoA），它能够自动为不同的注意力头部和层级适应不同的稀疏注意力配置，通过优化稀疏注意力压缩方案，MoA 在保持平均注意力范围不变的情况下，将有效上下文
PDF13 days ago
优化驾驶视觉问答模型：弥合人类与机器注意力模式的差距
该研究通过比较人类和 VQA 模型在回答与驾驶相关的问题时的注意模式，揭示了观察对象方面的差异。我们提出了一种整合过滤器来优化模型的注意机制的方法，优先考虑相关对象并提高准确性。通过将 LXMERT 模型应用于案例研究，我们比较了预训练模型
PDF21 days ago
关注驱动推理：释放大型语言模型的潜力
通过优化注意力机制来增强大型语言模型的推理能力，特别是对非科学、技术、工程和数学（STEM）问题的推理能力，通过重新平衡注意力分布来提高模型的抽象能力并探索注意力模式在推理中的作用，为更强大和多功能的语言模型铺平道路。
PDF3 months ago
基于有界 Dyck 文法的研究案例：变压器使用短视方法不可解释
研究关注于解释性方法，通过检查模型的不同方面（例如权重矩阵或注意力模式）来理解训练模型（例如 Transformer）实现的算法。通过理论结果和对合成数据的仔细控制实验的组合，我们对专注于模型的个别部分而不是整个网络的方法提出了批判性观点。
PDF7 months ago
EMNLP探索语言模型的多步推理能力的机械解释
在这篇论文中，我们通过探索一种机械化方法来回答语言模型在多步推理任务中是通过抄袭预训练语料库中记忆的答案还是通过多步推理机制来完成这些任务的疑问。我们引入了一种新的探测方法（称为机械化探测器），从模型的注意力模式中恢复推理树，用于分析两个语
PDF8 months ago
ACL残差注意力去偏差的强健自然语言理解
通过提出 REsidual Attention Debiasing 方法，本研究旨在解决自然语言理解模型中存在的数据集偏见问题，并通过实验表明该方法可以显著提高 BERT 模型在三个 NLU 任务上的表现。
PDFa year ago
面向任务无关的 BERT 压缩的权重继承蒸馏
本文介绍了一种基于 Weight-Inherited Distillation (WID) 的知识蒸馏方法，通过直接从教师模型继承权重实现对学生模型的压缩，避免了传统方法中需要设计额外对齐损失的问题，实验结果表明 WID 在 GLUE 和
PDFa year ago
基于结构化任务训练的 Transformer 模型的系统泛化和涌现结构
该文探讨了怎样使用 Transformer 网络在算法任务中表现良好，展示了多层 transformer 网络在任务分解中的可靠性解决方案，以及所有相关任务中的共享计算的利用。
PDF2 years ago
SIGIR基于实体条件的问句生成，用于神经信息检索中的鲁棒关注分配
本文提出了一种新颖的有监督神经信息检索模型，利用针对性的合成数据生成方法，使模型能够更均匀、更强有力地关注给定篇章中的所有实体，进而提高检索性能。
PDF2 years ago
注意力可以反映句法结构 (如果你允许)
本研究通过对 18 种语言进行多语言 BERT 的解码实验，以测试依存句法是否反映在注意力模式中的普适性，并归纳出单一注意力头可以以上线准确率解码全树。尝试通过对 mBERT 进行监督解析目标的微调，结果表明注意力模式可以代表语言结构。
PDF3 years ago
BERT 的视野有多远：基于距离的聚类和注意力分析
通过无监督聚类，我们明确将注意力热图聚类为显著不同的模式，并进一步通过分析研究了它们的对应功能，此外，我们提出的特征可以用于解释和校准 Transformer 模型中的不同注意头。
PDF4 years ago
本地 GAN：为生成模型设计二维本地注意机制
本文提出了一种新的局部稀疏注意层，通过使用信息流图的新颖信息论准则来设计我们提出的稀疏注意模式，将 SAGAN 中密集的注意层替换为我们的构造，可获得非常显著的 FID、Inception 分数和纯视觉改进。同时，还提出了对注意机制进行反演
PDF5 years ago
EMNLP揭示 BERT 的黑暗秘密
本研究基于自注意力机制进行 BERT 模型的定量及定性分析，发现模型的超参数化导致自注意力机制复用率高，不同自注意力机制对不同 NLP 任务影响不同，针对性关闭某些自注意力机制可以提升模型性能。
PDF5 years ago