long sequences | BriefGPT - AI 论文速递

关键词long sequences

搜索结果 - 27

长序列处理中的状态空间建模：对 Transformer 时代中的循环的调查
对基于循环模型的顺序数据处理的最新方法进行了深入总结，并提供了关于体系结构和算法解决方案的完整分类，引导研究者在这一吸引人的研究领域进行进一步研究。
PDF21 days ago
ICML短 - 长卷积有助于高效硬件线性注意力集中于长序列
通过采用分层和分块思想，我们提出了 CHELA（硬件高效的短长卷积与线性注意力）来解决线性注意力在因果设置下仅保持在理论层面的问题，同时通过替换状态空间模型（SSMs）为短长卷积，实现了稳定的 SSMs，保持真正的线性复杂度。通过对 Lon
PDF22 days ago
Megalodon: 高效的 LLM 预训练与无限上下文长度的推断
Megalodon 是一种用于有效的序列建模，能处理长序列的神经架构，通过引入多个技术组件，包括复杂的指数移动平均值、时间步归一化层、归一化注意机制和双跳剩余配置，提高了其能力和稳定性，在与 Llama2 的对比中在 70 亿参数和 2 万
PDF3 months ago
BurstAttention: 极长序列的高效分布式注意力框架
我们提出了一种名为 “BurstAttention” 的分布式注意力框架，通过在全局集群和本地设备级别上优化内存访问和通信操作，相比于竞争的基准线，在处理长序列时减少 40% 的通信开销，训练 32K 序列长度时实现 2 倍加速。
PDF4 months ago
InfLLM: 揭示 LLM 对于无需训练的记忆理解极长序列的内在能力
通过引入一种无需训练的基于内存的方法 InfLLM，使得大型语言模型 (LLM) 能够高效处理长序列并捕获远距离依赖关系。
PDF5 months ago
ICLRAutoChunk: 自动激活块用于高效存储长序列推理
通过自动和自适应的编译器系统，我们提出了 AutoChunk 方法，该方法通过块策略有效减少了长序列推理中的激活内存，证明了 AutoChunk 可以在保持速度损失在 10% 以内的同时，减少 80% 的激活内存，并将最大序列长度提高 3.
PDF5 months ago
LongBoX：评估基于 Transformer 的长序列临床任务
评估长序列处理能力的医学大型语言模型和模型性能，引入长序列数据集 LongBoX，初步实验证明医学和一般领域大型语言模型对长序列的处理存在困难，通过两种长序列处理技术（局部 - 全局注意力、Fusion-in-Decoder）的评估，得出虽
PDF8 months ago
M4LE: 一个适用于大型语言模型的多能力多范围多任务多领域长上下文评估基准
我们提出了一个针对大型语言模型的多能力、多范围、多任务、多领域的长上下文评估基准（M4LE），并通过在 36 个 NLP 数据集、11 种任务类型和 12 个领域中用多样的 NLP 任务池来支持它。我们的研究揭示了当前的大型语言模型在理解长
PDF8 months ago
快速多极注意力：一种长序列的分而治之注意机制
Transformer-based models have achieved state-of-the-art performance, but the quadratic complexity of self-attention limi
PDF9 months ago
DON-LSTM：多分辨率学习中的 DeepONets 和长短时记忆神经网络
通过在深度操作网络中增加长期短期记忆网络，我们提出了一种名为 DON-LSTM 的新型架构，使网络具备了利用多分辨率数据和捕捉长序列中的时间依赖性的能力。在多个非线性系统的长时间演化建模任务中，我们测试了我们的方法，并展示了提出的多分辨率
PDF9 months ago
近无限背景下的分块 Transformer 环形注意力
传统的 Transformer 架构由于内存需求限制了其处理长序列的能力，而我们提出的 Ring Attention 方法通过分块计算自注意力和重叠通信的方式，提高了内存利用效率，允许处理更长的输入序列，从而消除了设备内存的限制，同时在语言
PDF9 months ago
BASS: 语音摘要的分块调整
本文提出一种基于块模型的方法，允许在增量方式下在非常长的音频序列上训练语音摘要模型，并能够通过数据流处理更新模型。实验表明，所提出的块模型训练方法相对于截断输入基线，可以在 ROUGE-L 指标上提高 3 个百分点。
PDFa year ago
用于长上下文大模型的分块并行 Transformer
Blockwise Parallel Transformer (BPT) is a distinct approach to address memory demands posed by the self-attention mechan
PDFa year ago
HiPool：基于图神经网络对长文档建模
本文提出基于图网络的方法来处理长序列的自然语言处理问题，在新的基准测试中，该方法在长序列数据集中表现出比序列模型更好的性能和可扩展性。
PDFa year ago
CVPRToken Turing 机
提出了 Token Turing Machines (TTM)，这是一种用于实现现实生活中序列视觉理解的序列自回归 Transformer 模型，它具有外部记忆，可以高效地处理长序列，其内存模块可以确保新的观察仅与记忆内容一起处理 (而不是
PDF2 years ago
基于稀疏注意力记忆网络的长序列点击率预测
本文针对在采用更长序列的情况下推荐精度和个性化程度的提高未得到很好处理的情况，提出了一种新的稀疏注意存储模型（SAM）以模拟用户行为序列，实现了高效的训练和实时推荐，并在大型电子商务平台上部署进行了 A/B 测试，结果表明，相对于传统模型，
PDF2 years ago
ACL利用短文本模型高效理解长文本
提出了一种名为 SLED 的机制，通过对输入进行重叠切块、使用预训练过的短文本语言模型编码并在解码器中进行信息融合，从而实现处理长序列的目标，其竞争力与特定任务的大型模型不相上下。
PDF2 years ago
FlashAttention: 带 IO 感知的快速、节省内存的精确注意力机制
提出了 FlashAttention，一种 IO 感知的确切关注算法。FlashAttention 使用平铺减少 GPU 高带宽内存（HBM）和 GPU 片上 SRAM 之间的内存读取 / 写入次数，并可扩展为块状稀疏关注。FlashAtt
PDF2 years ago
ACL直接语言翻译中注意力的局部性
本文讨论了自我注意力（self-attention）在直接语音翻译中的应用。通过分析编码器中自我注意力的逐层令牌贡献，发现了局部对角线模式，并提出用局部高效的自我注意力替代标准自我注意力，通过跳过标准自我注意力废弃的权重来提高模型的效率，但
PDF2 years ago
分层 Transformer 是更高效的语言模型
通过建立分层结构的 Transformer 模型 Hourglass，让 Transformer 可以更加高效地处理长序列，在 ImageNet32 生成任务方面表现出新的最先进，同时提高了在广泛研究的 enwik8 基准上的语言建模效率。
PDF3 years ago