sequence processing | BriefGPT

关键词sequence processing

搜索结果 - 9

ReLU 和加法门控递归神经网络
通过替换传统的循环门中的乘法和 Sigmoid 函数为加法和 ReLU 激活函数，该研究提出了一种可以在更低计算成本下维持长期记忆用于序列处理的机制，从而在受限制硬件上实现更高效的执行或更大模型。此机制能够在保持较高的计算效率的同时，捕捉到
PDF9 months ago
RWKV：为 Transformer 时代重新设计 RNN
本文提出了一种名为 Receptance Weighted Key Value（RWKV）的新型模型体系结构，它将 Transformer 的并行训练与 RNN 的高效推理相结合，并利用了线性注意机制，使模型既可以被阐释为 Transfor
PDFa year ago
Lempel-Ziv 网络
本研究探讨了将离散域中的 Lempel-Ziv Jaccard Distance 扩展至连续域中的效果，并提出了基于深度学习的算法 Lempel-Ziv Network。通过在几个数据集和序列处理任务上的实验，证明了 LSTM 在这些任务上
PDFa year ago
ACL使用 500 个任务评估预训练语言模型的适应能力
本文采用新的基准 TaskBench500，从 500 个生成过程中的序列建模任务中，大规模地实证研究了 LM 适应性的特征和限制，发现 LM 在适应性上存在重要差异性和局限性，提出了 LM 适应性的三个方面。
PDF2 years ago
使用段落向量提升印尼情感分析的 Bi-LSTM 性能
本文提出结合使用 Bi-LSTM 和段落向量作为印尼情感分析的方法，解决了 Bi-LSTM 在序列处理中文本片段位置不影响情感分类的问题，并进行了多个案例研究来验证了该方法的实用性。
PDF4 years ago
基于门控增量记忆的连续学习用于序列数据处理
提出基于循环神经网络（RNN）的连续学习模型，利用弹性权重合并法（EWC）处理输入分布的概念漂移，通过在两种不同类型的 RNN 之上实现和测试 EWC，比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异，并高亮了需
PDF4 years ago
AAAI用于长序列快速处理的残差混洗网络
本文提出了一种简单、轻量级的 Shuffle-Exchange 网络变体，它是基于残差网络，采用 GELU 和 Layer Normalization，可以扩展到更长的序列，收敛更快并提供更好的准确性。通过在 MusicNet 数据集上进行
PDF4 years ago
线性时间神经机器翻译
提出一种新颖的神经网络 ByteNet，它是一个一维卷积神经网络，可用于处理序列，且其编码和解码的能力较强，使用字节卷积和动态展开机制，时间复杂度线性，取得了语言建模和机器翻译方面的最佳性能。
PDF8 years ago
多任务的课程学习
本文提出了一种处理多个任务的顺序学习方法，通过仅在相关性较高的任务之间共享信息，其基于广义绑定准则的任务顺序决策能够优化任务分类绩效并自动发现任务最佳顺序。实验结果表明，顺序学习比同时学习更加有效，任务完成顺序重要并具有指引意义。
PDF9 years ago