long range dependencies | BriefGPT

关键词long range dependencies

搜索结果 - 7

频谱状态空间模型
本文研究具有长距离依赖的预测任务的序列建模，提出了一种基于谱滤波算法学习线性动力系统的状态空间模型的新形式。这一提议产生了一种名为谱状态空间模型的新型序列预测架构，通过对合成动力系统进行评估，支持了谱滤波在需要非常长远记忆的任务中的理论优势
PDF7 months ago
门控状态空间实现的长序列语言模型
本论文介绍了一种基于门控状态空间（GSS）的自回归序列建模方法，该方法使用自注意力来建模局部依赖关系，从而能够有效地处理长距离依赖关系，且在英语书籍、Github 源代码和 ArXiv 数学文章上的实验表明，该方法训练速度明显快于传统方法并
PDF2 years ago
ECCVKVT：使用 k-NN 注意力增强视觉 Transformers
本文提出了一种 K-NN 自注意力机制，具有更好的速度和准确率，且适用于各种不同种类的 transformer 结构，从而可以提高图像识别的性能。
PDF3 years ago
通过高效 SVD 参数化稳定深度神经网络梯度
本文提出了一种基于奇异值分解（SVD）的转移矩阵参数化方法，通过显式控制奇异值来解决在训练中发生的梯度消失和梯度爆炸问题，该方法在实验中表现出了更快的收敛速度和更好的泛化性能，特别是在捕捉长程依赖关系方面的表现较好。
PDF6 years ago
NIPSMinimalRNN: 更易于解释和训练的循环神经网络
通过采用极简的更新规则，MinimalRNN 在学习和测试上不仅高效，而且更易解释和训练。最后，通过考察输入输出的 Jacobi 矩阵，发现 MinimalRNN 能够捕捉比现有 RNN 结构更长程的依赖关系。
PDF7 years ago
EMNLP长短距离上下文神经网络语言模型
本文提出了一种新的多跨度架构，通过一种新的循环长短期上下文（LSRC）网络，显式地模拟本地（短期）和全局（长期）上下文，分别模拟短期和长期的上下文信息，用于语言模型任务。
PDF7 years ago
使用长短时记忆的组合分布式语义
本文提出了一种递归神经网络的扩展，使用了一种长短期记忆结构的变体。该扩展允许将位于解析树底部的信息存储在内存寄存器（“内存单元”）中，并在解析树的较高位置上使用。这提供了一个解决梯度消失问题并允许网络捕获长距离依赖的方案。实验结果表明，本文
PDF9 years ago