本文对于近三十年来产生和实践了重要的循环神经网络(RNN),LSTM 和 BRNN 等模型的研究进行综述,旨在提供一个自成体系的最前沿阐述和历史视角,并引用了相关研究文献。
May, 2015
本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明,介绍了针对学习长期依赖问题的新进展,适合该领域的新手和专业人士。
Dec, 2017
本文描述了如何将深度神经网络应用于预测金融市场走势,并进一步用配置和训练方法演示了如何在 43 个不同的商品和外汇期货中进行策略回测。
Mar, 2016
本文通过详实的实证研究和开源软件框架介绍了现有基于循环神经网络的预测模型,提出了针对这些模型使用的最佳实践和指导方针。研究发现,当数据集的时间序列具有同质季节模式时,RNN 能够直接模拟季节性;否则,建议事先对数据进行季节性去趋势处理。通过与 ETS 和 ARIMA 模型的比较,研究表明,实现了(半)自动化的 RNN 模型在许多情况下是可以竞争使用的。
Sep, 2019
本文提出了一种构建平稳特征的新方法,可以有效地应用深度学习模型以解决金融数据非恒定性等问题,并结合了 CNN 模型提取有用特征和 LSTM 模型分析时间序列的能力,测试显示其在预测期限方面优于单独的 LSTM 和 CNN 模型。
Oct, 2018
本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络,通过合适的正则化和端到端的训练方法,该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7%。
Mar, 2013
本文提出了一种新的神经网络结构来建模空间分布,在使用限价单簿的空间结构时,该新结构具有计算效率,并提供了价格移动的低维模型。该模型在未来时间内基于限价单簿的当前状态建模簿的状态的共同分布,模型训练并测试了近 500 种股票,并采用了退出技术以提高表现。
Jan, 2016
本文介绍了一种新型的神经序列建模方法 - 准循环神经网络(QRNNs),通过卷积层与最小化的循环池化函数的交替使用,QRNNs 可以在高度并行的情况下完成对序列数据的建模,并且在语言建模、情感分类和字符级神经机器翻译等任务中显示出比基于 LSTM 的架构更优异的性能。
Nov, 2016
使用不同的递归神经网络 (RNN) 架构,基于激光诱导加热光谱 (LIBS) 技术对铝合金进行定量分析,并将其与支持向量回归器 (SVR)、多层感知器 (MLP)、决策树 (DT)、梯度增强回归 (GBR)、随机森林回归 (RFR)、线性回归和最近邻 (KNN) 算法进行比较。结果表明,基于卷积递归网络的机器学习工具在大部分元素预测方面的效果最好。
Apr, 2023
通过系统实证分析,本文发现在文本生成等实际应用场景下,基本的 RNN 或 LSTM RNN 的训练过程中不会表现出混沌行为,这一发现说明未来的研究应该将方向放在非线性动力学的另一个方面上。
Apr, 2020