transformer-based llms | BriefGPT

关键词transformer-based llms

搜索结果 - 8

KV 缓存压缩，我们必须拿什么作为交换？长上下文能力方法的全面基准测试
大语言模型的长上下文能力是其关键能力之一，本研究填补了现有方法的空白，并评估了 10 多种最新方法在长上下文任务领域的表现，揭示了许多以前未知的现象，为未来长上下文能力大语言模型的发展提供了洞见和工作平台。
PDF3 days ago
在高效基础上构建：利用结构化前馈层有效训练 LLMs
通过结构化的前馈网络，使用线性层近似来减少大型语言模型的参数数量和计算成本，同时提出一种自我引导训练的方法来改善这种近似所表现出的训练动力学，从而在训练和推断中实现高效和有效的结果。
PDF10 days ago
嘈杂邻居：针对 LLMs 的高效成员推断攻击
该研究论文介绍了一种高效的方法，通过在嵌入空间中添加随机噪声，在推理模式下操作目标模型，生成目标样本的 “噪声邻居”，以评估 LLMs 的隐私风险。研究结果表明，该方法与使用影子模型的效果相近，展示了它在实际隐私审计场景中的可用性。
PDF10 days ago
滞后的跳跃：探索大型语言模型在多次跳跃查询上的限制
大型语言模型在解决复杂的多步问题方面能力强大，本研究通过分析 Transformer-based LLMs 内部计算过程，发现其在处理多跳查询和信息抽取时采用了潜在的计算步骤，进而提出了一种新颖的 “回补” 分析方法，帮助解决模型在后期计算
PDF16 days ago
深呼吸：用哨兵标记增强大型语言模型的语言建模
我们提出了一种简单而有效的方法，通过将文本分割成多个块并在每个块的末尾插入特殊标记 <SR>，修改注意力掩码以将块的信息整合到相应的 <SR> 标记中，从而使 LLMs 能够从历史上的个别标记以及 <SR> 标记中解释信息，从而汇集块的语义
PDF18 days ago
光谱滤波器、暗信号和注意力池
将中间表示投影到词汇表是转换器模型 LLMs 的一种越来越流行的解释工具，我们提出了一种定量扩展方法，并基于将词汇表嵌入和未嵌入矩阵的奇异向量进行分组来定义中间表示的谱滤波器。通过保持注意力下沉，我们发现尽管部分抑制嵌入谱的大小，预训练模型
PDF5 months ago
从理解到应用：关于大型语言模型可解释性的调查
本文探讨大型语言模型（LLMs）的可解释性领域，强调了增强 LLMs 可解释性的必要性，重点关注预训练的基于 Transformer 的 LLMs，如 LLaMA，以及改善模型透明度和可靠性的解释性方法和评估方法的分类与讨论。
PDF5 months ago
EMNLP使用哨兵标记对自回归 Transformer 进行上下文压缩
通过增量压缩指定范围的令牌的中间激活，我们提出了一种即插即用的方法，从而在处理后续上下文时减少了内存和计算成本。实验证明，与稀疏注意力基线相比，我们的方法在流畅度、n-gram 匹配和语义相似性方面具有优势。最后，我们全面评估了上下文压缩对
PDF9 months ago