Oct, 2015
自然语言处理神经网络模型入门
A Primer on Neural Network Models for Natural Language Processing
TL;DR该论文介绍了神经网络模型在自然语言处理中的应用及其相关技术,包括自然语言编码、前馈网络、卷积网络、循环网络和递归网络,以及自动梯度计算的计算图抽象。
Abstract
Over the past few years, neural networks have re-emerged as powerful machine-learning models, yielding state-of-the-art results in fields such as image recognition and speech processing. More recently, neural network models started to be applied also to textual natural language signals
发现论文,激发创造
用于文本分类的深层卷积神经网络
本文介绍了一种新的基于VDCNN的文本处理体系结构,通过使用29个卷积层,仅使用小型卷积和池化操作,该模型的性能得到了提高,并且在多个公共文本分类任务上,相对于现有模型,且在文本处理中使用非常深的卷积神经网络实现了最先进水平。
Jun, 2016
小型前馈网络用于自然语言处理
通过在受限资源的环境中展示简单的技术,我们发现小型的神经网络可以在处理结构化和非结构化语言任务时取得接近最先进技术的结果,同时在存储和计算需求方面比深度递归模型要便宜得多,从而探讨了当决定如何分配一小块内存预算时的不同权衡。
Aug, 2017
深度学习在自然语言处理中的应用调查
本文简要介绍了自然语言处理领域和深度学习架构和方法,并从最近的研究中总结了大量相关贡献,对核心语言处理问题和计算语言学的多个应用进行了分析,并提供了当前技术水平的讨论和未来研究的建议。
Jul, 2018
卷积神经网络与循环神经滤波器
使用循环神经网络作为卷积滤波器的卷积神经网络在处理自然语言处理任务时具有更强的合成性和长期依赖性,并在Stanford Sentiment Treebank和两个答案句子选择数据集上取得了与最佳结果相当的效果。
Aug, 2018
神经语言处理中的分析方法:一项调查
本综述论文介绍了自然语言处理领域中使用神经网络模型替代传统系统的进展情况及其分析方法,并根据主要研究趋势进行分类,指出现有限制,并提出未来工作的潜在方向。
Dec, 2018
自然语言处理的图神经网络综述
本研究综述了基于图形神经网络在自然语言处理中的应用,并提出了一个新的分类(基于图构建、图表示学习和基于图的编码器-解码器模型),同时介绍了许多利用GNN的NLP应用程序,并总结了相应的基准数据集、评估指标和开源代码;最后,讨论了利用GNN进行NLP的各种未解决问题以及未来的研究方向。
Jun, 2021