我们提出了第一款可在推理过程中跳过和跳转文本的神经速读模型,名为 Structural-Jump-LSTM,它由标准 LSTM 和两个代理组成,分别能够在阅读时跳过单词和利用标点结构来跳转。和其他五个最先进的神经阅读模型相比,我们的模型的浮点运算(FLOP)减少最大,速度最快,同时保持了与一个传统的 LSTM 相同的准确性甚至更好。
Mar, 2019
提出了 Leap-LSTM, 一种 LSTM 增强模型,可以动态跳跃读取文本以提高长文本处理效率。在对情感分析、新闻分类、本体分类和主题分类等任务进行实验评估后发现,相比标准 LSTM 模型,Leap-LSTM 能够更快速地读取文本并获得更好的预测性能和效率平衡。
May, 2019
通过运用速读原理,我们提出 Skim-RNN,一种递归神经网络(RNN),可以动态地决定仅对相对不重要的输入令牌更新少量隐藏状态,从而让 Skim-RNN 相对于始终更新整个隐藏状态的 RNN 获得计算优势。通过五个不同的自然语言任务的实验,我们证明 Skim-RNN 能够在不损失准确性的情况下显著地减少计算成本。此外,我们还证明 Skim-RNN 的准确性和速度之间的权衡可以在推理时进行稳定的动态控制。此外,我们的分析还显示,相比于 GPU 上的标准 RNN,单 CPU 上的 Skim-RNN 提供更低的延迟。
Nov, 2017
基于强化学习和词向量,提出了一种可以高效处理长篇文档的问答框架,该框架结合了快速筛选相关句子和精读相关句子的策略,并在 Wikireading 的一个挑战性子集和一组新的数据集上实现了最新的性能,同时使模型的速度提高 3.5 倍至 6.7 倍。
Nov, 2016
提出了一种基于 JUMPER 框架的文本分类方法,该方法采用深度神经网络,将分类任务建模为一个序列决策过程,并通过强化学习来训练策略网络,取得了在多个基准数据集上与现有模型相当或更好的分类准确性。
Jul, 2018
本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络,并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。
Dec, 2014
本篇论文通过使用无监告运算架构的神经注意力和自编码,探讨了人类阅读时的跳过现象和读取过程的计算,提出了一种新的方法,并在 Dundee 眼球追踪语料库上对该模型进行了评估,表明它能够很好的预测跳过行为和阅读时间,捕捉了人类阅读的已知定性特征。
Aug, 2016
论文提出了一种基于记忆网络和神经关注机制的机器阅读模拟器,能够更好地处理结构化输入,并结合编码器 - 解码器体系结构,取得了很好效果。
Jan, 2016
本文提出了基于多任务学习框架的神经网络方法,采用循环神经网络来建模具有特定任务和共享层的文本,并在四个基准文本分类任务的实验中显示出该方法可以提高其他相关任务的性能。
May, 2016
本文介绍了一种基于递归神经网络和卷积神经网络的模型,可以在分类下一个短文本时利用前面的短文本,该模型在三个不同的数据集上取得了最先进的对话行为预测结果。
Mar, 2016