Apr, 2019

关于循环神经网络在噪声动力学系统中的行为的简短注记

PDF
TL;DR本文研究了循环神经网络在数据驱动下的噪声动力学系统模拟行为，训练了一组 LSTM 网络，发现在训练噪声变大时，LSTM 更多地依赖其自主动力学而不是噪声输入数据。
发现论文，激发创造
  • 利用长短期记忆网络对高维混沌系统进行数据驱动的预测

    使用基于数据驱动的长短时记忆（LSTM）循环神经网络的预测方法，展示了该方法在高维混沌系统中的定量预测效果，并提出了一种新的具有混合结构的 LSTM 神经网络。与高斯过程相比，LSTM 在所有应用中都表现出更好的短期预测准确性，并且 MSM-LSTM 可以保证收敛到不变措施。

    Feb, 2018

  • 嘈杂循环神经网络

    研究透过向隐含状态注入噪音训练的递归神经网络，已证实该方法可提升其稳定性及鲁棒性。

    Feb, 2021

  • 循环神经网络有多混沌？

    通过系统实证分析，本文发现在文本生成等实际应用场景下，基本的 RNN 或 LSTM RNN 的训练过程中不会表现出混沌行为，这一发现说明未来的研究应该将方向放在非线性动力学的另一个方面上。

    Apr, 2020

  • 具有更灵活记忆的循环神经网络：相较于粗糙波动性更好的预测

    我们将循环神经网络扩展到包含几个灵活的时间尺度，这在机械上提高了它们对具有长期记忆或高度不同时间尺度进程的处理能力。通过比较普通和扩展的长短期记忆网络（LSTMs）在预测已知具有长期记忆的资产价格波动性方面的能力，我们发现扩展的 LSTMs 所需的训练时期减少了一半，而具有相同超参数的模型的验证和测试损失的变化要小得多。我们还展示了在多时间序列数据集上进行训练和测试时，验证损失最小的模型相对于粗略波动性预测的表现普遍提高了大约 20％。

    Aug, 2023

  • 循环神经网络和长短时记忆网络：教程和调研

    本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM) 及其变体，在训练过程中解决长序列中的梯度消失 / 爆炸问题，并详细介绍了 LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

    Apr, 2023

  • 基于 LSTM 的时间变化可变性数据的预测监控方法

    该论文研究了循环神经网络和其变体在处理序列方面的强大性能，并提出了一种基于长短期记忆（LSTM）预测区间的控制图方法，用于监测具有时间变动性的数据，并表明该方法优于其他基于神经网络的预测监测方法，特别适用于检测平均值突变的异常情况。

    Sep, 2023

  • 差分循环神经网络用于动作识别

    本文提出了一种差分门控 LSTM 神经网络，它采用导数来量化关键运动模式对时间序列数据的信息增益，从而提高动作识别的准确率。

    Apr, 2015

  • 循环神经网络中学习更长记忆

    本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

    Dec, 2014

  • 循环神经网络合成用于动态系统模拟

    论文介绍了一种基于早期理论结果的算法，该算法基于反向传播和矩阵操作，可以训练前馈神经网络来近似动态系统，并将其转换为递归网络，以模拟原始系统的动态行为。

    Dec, 2015

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015