long sequences | BriefGPT - AI 论文速递

关键词long sequences

搜索结果 - 27

ICLRPoNet: 长序列中高效的令牌混合池化网络
本文提出了一种新的 Pooling Network (PoNet)，它使用线性复杂度的 token mixing 处理长序列，通过多粒度池化和池化融合来捕获不同级别的上下文信息，并结合 tokens 进行交互来提高模型性能。在长范围竞技基准
PDF3 years ago
EMNLPPermuteFormer：用于长序列的高效相对位置编码
本文讨论了如何将相对位置编码添加到 Performer 模型中，提出了一种基于 Performer 模型的相对位置编码的模型 PermuteFormer。在长序列数据集 Long-Range Arena 和语言建模数据集 WikiText-
PDF3 years ago
Luna: 线性统一嵌套注意力
本论文提出了一种线性统一嵌套注意力机制 Luna，它用两个嵌套的线性注意力函数来逼近 Softmax 注意力机制，从而实现了仅线性时间和空间复杂度。该方法在长序列建模任务、神经机器翻译和大规模预训练掩码语言建模等多个领域性能优异且高效。
PDF3 years ago
ICLR随机特征注意力
提出了一种名为 RFA 的注意力机制，它能够有效地处理长序列，同时在语言模型和机器翻译任务方面表现出与常规 transformer 模型相似或更好的性能，并且在机器翻译实验中，RFA 的解码速度是普通 transformer 的两倍。
PDF3 years ago
ICLRReformer：高效 Transformer
本文介绍了两种技术以提高 Transformer 的效率：使用局部敏感哈希替换点积注意力和使用可逆残差层代替标准残差层，减少存储激活的次数。改进后的模型 Reformer 在处理长序列时比 Transformer 更加高效。
PDF4 years ago
NIPS扩张循环神经网络
本研究提出了一种称为 DilatedRNN 的简单且有效的循环神经网络连接结构，它可以同时解决 RNN 在处理长序列时遇到的复杂依赖、梯度消失和爆炸的问题，还能够提高训练效率并匹配最先进技术，并且引入了一种适用于具有长跳跃连接的 RNN 的
PDF7 years ago
神经变换器
本研究提出了一种名为神经音频变换器的模型，它可以支持在不重新计算整个模型的情况下实现增量预测，而不像序列到序列模型那样需要一个完整的输入序列。
PDF9 years ago