long-term dependency | BriefGPT

关键词long-term dependency

搜索结果 - 10

CFTM：连续时间分数主题模型
本文介绍了连续时间分数主题模型（cFTM），这是一种新的动态主题建模方法，它利用分数布朗运动（fBm）有效地识别时间上的主题和词分布的正向或负向相关性，揭示出长期依赖或粗糙性。我们的理论分析证明了 cFTM 可以捕捉主题和词分布中的这种长期
PDF5 months ago
无外部跟踪器的自由手势超声波三维重建的长期依赖性
通过结合序列模型和多重转换预测，利用参数化长期依赖的新方法，提高了重建超声的性能。实验证明，长期依赖和扫描协议的长度和间隔相关，但与使用长短期记忆模块的递归网络无关。调整训练中的解剖图像内容和扫描协议方差会降低重建准确性，但代表性的扫描协议
PDF9 months ago
递归神经网络的动态分析和特征值初始化器
在本文中，我们通过权重矩阵的特征分解提出了一种分析循环神经网络中隐藏状态空间的新视角，解释了激活函数中的信息保存功能，基于特征分析为长期依赖提供了一个解释，并指出了回归任务和分类任务中特征值的不同行为。通过对训练良好的循环神经网络进行观察，
PDFa year ago
ACL掩码词性模型：建模长上下文是否有助于无监督词性标注？
提出了 Masked Part-of-Speech Model (MPoSM) 模型，通过模型化任意标签的依赖性并通过 masked POS 重建目标来实现 POS 诱导。在英语 PennWSJ 数据集和包含 10 种不同语言的通用树库上实
PDF2 years ago
KDDGIKT：一种基于图的知识追踪交互模型
本文提出了一种基于图卷积网络的知识追踪图交互模型（GIKT），用于解决在线教育系统中知识追踪中问题信息和高阶问题 - 技能相关性的问题。实验证明，GIKT 在三个数据集上实现了最新的最高性能。
PDF4 years ago
自我关注神经架构，利用多任务学习实现代码自动完成
本文提出了自注意力神经体系结构，采用多任务学习方式，以解决代码补全中的结构性保留和长期依赖问题，并与最先进的方法进行了比较。
PDF5 years ago
ACLTransformer-XL: 超越固定长度上下文的关注式语言模型
提出了一种名为 Transformer-XL 的神经架构，它能够在语言模型的设定中超越固定长度的依赖关系，并且不会破坏时间上的一致性。通过分段级别的循环机制和一种新颖的位置编码方案，Transformer-XL 不仅能够捕捉更长期的依赖关系
PDF5 years ago
嵌套 LSTMs
通过不断嵌套而不是简单堆叠的方式，我们提出了一种新的基于多层内存的循环神经网络体系结构 ——Nested LSTMs。我们在各种字符级语言建模任务中使用 Nested LSTMs 的内存单元，其性能优于使用相似参数的多层 LSTMs 和单层
PDF6 years ago
ICMLGram-CTC：序列标注的自动单元选择与目标分解
本文介绍一种基于 CTC loss criterion 的新的损失函数 Gram-CTC，它在语音识别等任务上取得了比 CTC 更好的性能和效率，并能捕获更长期的依赖关系。
PDF7 years ago
高阶循环神经网络
本研究提出了一种新型神经网络结构，更好地建模序列数据的长期依赖性，称之为 higher order RNNs，实验结果表明，比常规 RNNs 和 LSTMs 性能都要好，适用于各种序列模型任务。
PDF8 years ago