sequence modelling | BriefGPT

关键词sequence modelling

搜索结果 - 7

ICML基于张量分解的二阶循环神经网络视角
通过对第二阶递归神经网络的参数化使用 CP 分解得到的模型 CPRNN 进行研究，我们分析了分解的秩和隐藏层大小如何影响模型的容量，并根据这些参数展示了循环神经网络、二阶递归神经网络、限制型二阶递归神经网络和 CPRNN 之间的关系。我们通
PDFa month ago
注意力作为一个 RNN
Transformers 在序列建模中取得了重大突破，但计算开销较大，本文提出了一种新的高效计算 attention 的方法，引入了名为 Aaren 的 attention-based 模块，使其能够像 Transformers 一样并行训
PDFa month ago
基于组织和检测嵌入的泛化序列模型用于表观基因组预测
通过将组织和检测嵌入到上下文化基因组网络中，我们展示了强相关性可以在广泛的实验条件中实现，同时提供了关于基因变异对表观遗传序列模型训练影响的首次见解。
PDF10 months ago
自注意力的利普希茨常数
本研究探讨了自注意力模型的 Lipschitz 常数，并提出了一种 L2 自注意力模型来代替标准点积自注意力模型，同时推导出了 L2 自注意力模型的 Lipschitz 常数上限，并证明了其在实践中的可行性和实用性，包括用于字符级别语言建模
PDF4 years ago
超网络
本文探讨使用一种网络 (称为超网络) 生成另一种网络 (称为主网络) 权重的超网络方法。超网络可应用于图像识别和序列建模任务，微调权重且性能相较于目前流行的基准模型更接近最佳效果。
PDF8 years ago
乘性 LSTM 用于序列建模
本文介绍了 mLSTM —— 基于长短时记忆 (LSTM) 和乘性循环神经网络 (RNN) 的一种用于序列建模的新型神经网络，其可以针对每个输入具有不同的循环转移函数，进而提升自回归密度估计的表达能力。我们通过实验表明，相较标准 LSTM
PDF8 years ago
分布式压缩感知：深度学习方法
本文探讨用长短期记忆网络作为数据驱动模型来解决多观测向量压缩感知问题的方法，可以通过计算每个向量的非零条目的条件概率，使得解码器重构出稀疏向量。在两个真实数据集上的广泛实验表明，本文提出的方法显著优于传统方法，而且不增加压缩感知编码器的任何
PDF9 years ago