文本的字节级递归卷积自编码器
分析神经机器翻译的性能,研究了两种模型:RNN编码器-解码器和新提出的门控递归卷积神经网络,结果显示神经机器翻译在翻译较短,不含生词句子时表现相对良好,但随着句子长度和生词数的增加,其性能会迅速降低。同时发现,所提出的门控递归卷积网络能够自动学习句子的语法结构。
Sep, 2014
使用深度文本递归网络(DTRN)进行场景文本识别,包含顺序标记问题,卷积神经网络,长短时记忆 lstm 模型,具有高度的识别准确率,对于高度不确定的单词具有可靠性等优点。
Jun, 2015
本文介绍了一种新的基于VDCNN的文本处理体系结构,通过使用29个卷积层,仅使用小型卷积和池化操作,该模型的性能得到了提高,并且在多个公共文本分类任务上,相对于现有模型,且在文本处理中使用非常深的卷积神经网络实现了最先进水平。
Jun, 2016
本文提出了一种基于卷积层的神经机器翻译框架,相比双向 LSTM 网络,该框架可以同时编码整个源语句,从而加速了翻译速度,在 WMT'16 数据集上达到了竞争水平的准确性,并在 WMT'15 和 WMT'14 数据集上取得了优异的结果。
Nov, 2016
本文提出了基于CNN编码器和LSTM解码器的分布式句子表征学习方法,旨在实现对多种任务的应用。作者通过训练模型在大规模小说数据集上获得高通用性的卷积句子编码器,并通过多项实验表明该模型在各类应用中均优于竞争方法。
Nov, 2016
本文探讨了建筑选择对于学习文本生成变分自编码器(VAE)的影响。与之前引入的使用RNN的VAE不同,本文提出了一种新颖的混合架构,将完全前馈卷积和反卷积组件与递归语言模型混合在一起。我们的架构具有几个有吸引力的属性,如更快的运行时间和收敛速度,能够更好地处理长序列,并且更重要的是,它有助于避免训练VAE模型时出现的一些主要困难。
Feb, 2017
本文研究利用扩张卷积神经网络的变分自编码器来进行文本生成。通过修改扩张网络的结构,作者在文本生成中获得卓越的性能,同时余下的部分介绍了使用该方法进行半监督学习和无监督标签任务的实验方法和结果。
Feb, 2017
本研究通过提出一种基于卷积自编码的序列到序列的方法,解决了长文本序列编码与解码时RNN存在的问题,同时具有良好的重构和校正能力,适用于自然语言处理中众多应用。在半监督文本分类和摘要生成任务中的定量评估表明,该方法可以更好地利用长篇未标注的文本数据。
Aug, 2017
本文提出了一种轻量级的卷积神经网络结构,可用于创建句子的定长向量嵌入表示,可应用于构建自然语言处理系统,包括对话代理,经过优化的卷积神经网络架构可显著缩短学习时间,减少参数数量,提高自编码准确率,并通过SentEval基准套件评估所建模型所创建的表示,并表明这可以作为流行的词袋表示形式的更好的但资源要求较低的选择。
Aug, 2018