NIPSOct, 2016

Phased LSTM: 加速长序列或基于事件序列的循环网络训练

PDF
TL;DR引入 Phased LSTM 模型，通过添加带有频率范围的参数化振荡的新时间门控制的 LSTM 单元扩展，使得模型更适合处理来自不同传感器且具有不同更新间隔的不规则采样数据，即异步事件流，可在具有长序列的学习任务中以较少的计算次数运行，既适用于处理传感器信号，也适用于标准的 RNN 应用。
recurrent neural networksphased lstmirregularly sampled dataasynchronous streams of eventslearning long sequences
发现论文，激发创造
  • 循环神经网络是否能够扭曲时间？

    本文研究证明可学习门控在循环神经网络中提供输入数据的时间转换几乎不变性的功能，从而为长期依赖性和参数初始化提供了新的可能性。

    Mar, 2018

  • 学习非规则采样时间序列中的长期依赖

    我们提出了一种基于长短期记忆机制的算法来解决非均匀采样数据上具有长期依赖性的序列建模问题，其核心是将记忆从时间连续状态中分离出来，形成了一种新的 ODE-LSTM 模型。实验证明，该模型在非均匀采样数据的长期依赖建模上优于基于其他递归神经网络的模型。

    Jun, 2020

  • 基于 LSTM 的时间变化可变性数据的预测监控方法

    该论文研究了循环神经网络和其变体在处理序列方面的强大性能，并提出了一种基于长短期记忆（LSTM）预测区间的控制图方法，用于监测具有时间变动性的数据，并表明该方法优于其他基于神经网络的预测监测方法，特别适用于检测平均值突变的异常情况。

    Sep, 2023

  • 多模态非规则时间序列事件的特征融合框架

    本文提出了一种基于长短时记忆网络的多模态不规则时间序列事件的特征融合框架，能够提取复杂特征、捕捉非线性关系和时间依赖关系，并使用特征门控制不同张量的访问频率，实验证明该框架在 MIMIC-III 数据集上能显著优于现有方法。

    Sep, 2022

  • 离散事件，连续时间的循环神经网络

    本文研究了用于事件序列处理的循环神经网络架构，描述了四种归纳偏差的形式，介绍了一种连续时间 GRU，并将这些偏差通过内在时间动态和事件时间戳扩展到 GRU 中，最终指出集成连续时间动态的神经网络架构具有潜在优势。

    Oct, 2017

  • 使用 LSTM 循环神经网络进行诊断学习

    本文探讨采用长短期记忆（LSTM）深度神经网络来挖掘多元时间序列的临床医疗数据，特别是在重症监护病房（ICU）中的应用，通过将 128 个诊断结果与 13 个临床测试指标进行分类建模，获得了优于其他多层感知机的分类效果。

    Nov, 2015

  • 基于循环神经网络集成的实时交互式序列生成和控制

    我们提出了一种实时连续控制和 “掌控” 序列生成的方法，使用一组循环神经网络和动态改变模型混合权重，并使用基于字符的长短时记忆网络和手势界面演示了该方法。

    Dec, 2016

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 利用长短期记忆网络对高维混沌系统进行数据驱动的预测

    使用基于数据驱动的长短时记忆（LSTM）循环神经网络的预测方法，展示了该方法在高维混沌系统中的定量预测效果，并提出了一种新的具有混合结构的 LSTM 神经网络。与高斯过程相比，LSTM 在所有应用中都表现出更好的短期预测准确性，并且 MSM-LSTM 可以保证收敛到不变措施。

    Feb, 2018

  • 具有更灵活记忆的循环神经网络：相较于粗糙波动性更好的预测

    我们将循环神经网络扩展到包含几个灵活的时间尺度，这在机械上提高了它们对具有长期记忆或高度不同时间尺度进程的处理能力。通过比较普通和扩展的长短期记忆网络（LSTMs）在预测已知具有长期记忆的资产价格波动性方面的能力，我们发现扩展的 LSTMs 所需的训练时期减少了一半，而具有相同超参数的模型的验证和测试损失的变化要小得多。我们还展示了在多时间序列数据集上进行训练和测试时，验证损失最小的模型相对于粗略波动性预测的表现普遍提高了大约 20％。

    Aug, 2023