attention distributions | BriefGPT

关键词attention distributions

搜索结果 - 7

揭示和利用隐藏的注意力汇聚：通过注意力校准增强大型语言模型的性能
通过细致研究和可视化大型语言模型（LLMs）中的注意力分布，本研究发现注意力汇的存在可以通过在提取信息时实时优化的了解，从而提高 LLMs 的准确性并避免权重调整。
PDF12 days ago
基于 L2 范数的高效 KV 缓存压缩策略
基于对注意力分配模式和键嵌入进行分析，我们提出了一种基于键嵌入的压缩策略，证实可在不降低准确性的情况下，将关键值 (KV) 缓存大小减少 50%（在语言模型和针对性查询任务中）和 90%（在密码检索任务中）。
PDF17 days ago
专注关注：面向领域通用的提示优化方法，用于语言模型
我们提供了一个名为 “Concentration” 的面向领域通用的提示优化目标，它通过增加注意力强度并减少注意力分布的波动，从而改善了多源领域通用设置中软提示和硬提示通用性优化方法的准确性，同时保持了满意的领域内性能。
PDF19 days ago
无位置编码的因果 Transformer 的长度概化
通过对无位置编码（NoPE）的长度泛化属性进行研究，我们发现虽然 NoPE 可以处理比常用的明确位置编码更长的序列，但其上下文长度仍然有限。我们确定了 NoPE 泛化失败与注意力分布分散的联系，并提出了一种参数高效的调整方法，通过搜索注意力
PDF3 months ago
Shapley 值支持的渐进式伪样本增强用于全幻灯片图像分类
使用合作博弈理论灵感，结合 Shapley 值和注意力机制，改进多实例学习方法，提高实例级别信息的估计准确性和幻灯片标签的预测性能。通过实验证明，在计算病理学领域的 CAMELYON-16、BRACS 和 TCGA-LUNG 数据集上，我们
PDF7 months ago
ACL从局部注意力到全局聚合：深入探究 BERT
通过使用梯度归属法分析，我们找出了自注意力头在 transformer 架构中的局部行为与全局行为之间的区别。此外，我们观察到，尽管混合上下文信息导致了注意力和归属度量之间有明显的偏差，但有些特定的模式在深度学习的所有层都是存在的。
PDF4 years ago
关注力带来的信心
本文提出利用注意力分布作为翻译置信度测量的方法，成功地应用到两种不同的翻译系统中，译文 BLEU 值分别提高了 2.22 和 0.99。
PDF7 years ago