linear attention | BriefGPT

关键词linear attention

搜索结果 - 17

ICML短 - 长卷积有助于高效硬件线性注意力集中于长序列
通过采用分层和分块思想，我们提出了 CHELA（硬件高效的短长卷积与线性注意力）来解决线性注意力在因果设置下仅保持在理论层面的问题，同时通过替换状态空间模型（SSMs）为短长卷积，实现了稳定的 SSMs，保持真正的线性复杂度。通过对 Lon
PDF24 days ago
ICML当线性注意力遇上自回归解码：朝着更有效和高效的线性化大型语言模型
通过结合线性注意力和推测解码，我们对现有线性注意力方法在自回归大语言模型中的功效进行了全面研究，并引入了一种增强的线性化语言模型，实验证明其在训练和生成过程中比先前的线性注意力方法更有效率。
PDF25 days ago
使用 Delta 规则并行化线性变换器来处理序列长度
用 Delta 规则训练线性变压器，并结合滑动窗口和全局注意力层构建的混合模型，在语言建模和下游任务中表现出色。
PDFa month ago
高效多维度顺序建模：LightNet 的一次高效扫描
通过识别多维数据模型中的效率问题，本文提出了一种高效的替代性线性回归方法以解决此问题，并基于这种新的回归方法开发了名为 LightNet 的高效多维顺序建模框架。此外，我们提出了两种新的多维线性相对位置编码方法（MD-TPE 和 MD-LR
PDFa month ago
从统一视角解开线性复杂度序列模型的秘密
我们提出了线性复杂度序列模型（LCSM），将各种序列建模技术（包括线性注意力、状态空间模型、长卷积和线性 RNN 等）以及展开、振荡和收缩（EOS）三个不同阶段的建模过程融入一个统一的框架中。通过从一个连贯而简化的视角分析每个组成部分的影响
PDFa month ago
ICML不同长度，匀速进行：高效语言建模与闪电注意力
我们提出了闪电注意力（Lightning Attention），这是第一个在固定的内存消耗下保持不同序列长度的训练速度恒定的线性注意力实现。
PDFa month ago
理解基础模型的区别：注意力、状态空间模型和循环神经网络
基于动力系统框架的行为比较研究中，研究了基于 softmax attention、linear attention、State Space Models (SSMs) 和 Recurrent Neural Networks (RNNs) 的
PDFa month ago
线性注意力序列并行
本文介绍了一种基于线性注意力的语言模型的高效序列并行化方法 ——LASP，通过设计高效的点对点通信机制以及融合核函数和中间状态缓存来使其在 GPU 集群上实现硬件友好且能与批量并行方法兼容，从而在大规模集群上具有更高的并行化效率和可用性。
PDF3 months ago
DiJiang: 通过紧凑核化实现高效的大型语言模型
为了减小 Transformers 的计算负荷，本文提出了一种名为 DiJiang 的新型频域内核化方法，使预训练的普通 Transformer 能够以较小的训练成本转变为线性复杂度模型。该方法采用了加权准蒙特卡罗抽样方法，理论上具有更高的
PDF3 months ago
简单线性注意力语言模型平衡召回 - 吞吐量的权衡
通过应用实验和理论到广泛的架构上，我们发现语言模型的状态大小与召回能力之间存在关键权衡。我们提出了一种名为 BASED 的简单架构，结合了线性和滑动窗口的注意力机制，通过改变窗口大小和线性注意力特征维度，我们可以在召回 - 内存权衡曲线的帕
PDF4 months ago
线性变换器块中上下文学习的好处：MLP 组件和一步梯度下降初始化
研究了线性变换器块（LTB）的上下文学习（ICL）能力，证明了 LTB 可以实现几乎贝叶斯最优的 ICL 风险，并且通过多层感知器（MLP）层减小了近似误差。
PDF4 months ago
闪电关注 - 2：在大型语言模型中处理无限序列长度的免费午餐
该论文介绍了 Lightning Attention-2，首个能实现线性注意力的理论计算优势的线性注意力实现方法，通过利用平铺技术和 GPU 硬件，充分发挥其在不同模型尺寸和序列长度上的训练和推理速度的一致性，并且比其他注意力机制更快。
PDF6 months ago
Agent Attention: 关于 Softmax 和线性注意力的整合
此研究提出了一种新的注意力范式，即 Agent Attention，以在计算效率和表示能力之间取得有利的平衡，该方法通过引入额外的代理标记来实现高效的全局上下文模型建模，同时保留了强大的 Softmax attention 和高效的线性 a
PDF7 months ago
硬件高效训练的门控线性注意力变换器
通过引入数据依赖的门控机制，我们开发了一种硬件高效的并行形式，使得门控线性注意力（GLA）Transformers 在适度规模的语言建模中表现竞争力，并在训练速度上与基于 CUDA 优化的 FlashAttention-2 相媲美。
PDF7 months ago
Softmax 的优势：揭示其在线性注意力上的性能优势
通过对 softmax 和线性注意机制进行全面的比较分析，我们揭示了 softmax 注意在大多数情况下优于线性注意的潜在原因。
PDF9 months ago
扁平 Transformer：使用专注线性注意力的视觉 Transformer
我们提出了一种新颖的线性关注模块，通过引入简单但有效的映射函数和高效的排名恢复模块，提高了自注意力的表达能力，同时保持了低计算复杂度。大量实验证明，我们的线性关注模块适用于各种先进的视觉 Transformer，并在多个基准测试中实现了持续
PDFa year ago
快速准确的关键点匹配的高效线性注意力
本文提出了一种基于 Transformer 的 3D 视觉应用中的线性注意力机制，通过全局和局部信息聚合进行关键点匹配，同时提出了联合学习来简化和加速特征匹配，最终在几个基准测试中取得了具有竞争力的性能。
PDF2 years ago