ICMLNov, 2021

使用连续循环单元对不规则时间序列进行建模

PDF
TL;DR本研究提出了一种称为连续循环单元 (CRUs) 的神经网络架构，它可以自然地处理不规则的时间间隔观察数据。研究发现，这种架构具有时间上的连续性和优化集成嘈杂观察的门控机制。我们在挑战性数据集上对 CRU 进行了实证研究，并发现它比基于神经微分方程的方法更好地插值了不规则时间序列。
recurrent neural networkscontinuous recurrent unitsirregular time seriesencoder-decoder frameworkkalman filter
发现论文，激发创造
  • 连续时间循环神经网络：概览及其在重症监护中预测血糖方面的应用

    本文介绍了在不规则测量环境中，利用神经普通微分方程或神经流层来提高自回归递归神经网络性能的不同 CTRNN 体系结构，研究表明，在血糖概率预测方面，只有 LSTM 和 ODE-LSTM 体系结构与渐进提升树模型具有相当的性能。

    Apr, 2023

  • 离散事件，连续时间的循环神经网络

    本文研究了用于事件序列处理的循环神经网络架构，描述了四种归纳偏差的形式，介绍了一种连续时间 GRU，并将这些偏差通过内在时间动态和事件时间戳扩展到 GRU 中，最终指出集成连续时间动态的神经网络架构具有潜在优势。

    Oct, 2017

  • CRU：一种新的神经架构，用于提高时间序列数据预测性能

    本研究提出了一种名为相关递归单元（CRU）的新型神经架构，可以在神经元内执行时间序列分解并学习每个分解组件之间的自相关和相关性，实验结果表明，相比其他神经架构，所提出的 CRU 是解决时间序列预测问题的一种优秀方法，可将长期和短期的预测精度提高 10％以上。

    Nov, 2022

  • 使用连续递归神经网络建模分层结构

    本文提出 Continuous Recursive Neural Network (CRvNN) 作为递归神经网络（RvNN）的可替换方案，以解决传统 RvNN 在处理序列中诱导潜在结构方面的局限性，并通过在潜在结构中引入连续松弛来改进该方案，从而在逻辑推理和自然语言处理等多项任务中取得了显著表现。

    Jun, 2021

  • 通过连续时间动力系统的视角看门控循环单元

    使用连续时间分析，我们对 Gated recurrent units (GRUs) 的内部运作获得了直观的理解。我们发现了一些意想不到的动态特征，同时我们无法训练 GRU 网络产生连续的吸引子，这也是生物神经网络存在的假设。

    Jun, 2019

  • 利普希茨循环神经网络

    本文提出采用连续时间动力学系统的视角看待循环神经网络（RNNs），并提出了一种描写隐藏状态演变的循环单元，该单元包含一个经过深思熟虑的线性组成部分和一个 Lipschitz 非线性组成部分来促进该单元的长期稳定性分析；并通过实验表明，Lipschitz RNN 在计算机视觉、语言建模和语音预测任务中的表现优于现有的循环单元；通过利用 Hessian 的分析证明我们的 Lipschitz 循环单元相对于其他连续时间 RNN 对输入和参数扰动更具稳健性。

    Jun, 2020

  • UnICORNN: 用于学习非常长时间依赖关系的循环模型

    本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

    Mar, 2021

  • 递归神经网络中的变量计算

    本研究提出了一种改进的循环单元，使其能够在学习时不需要事先了解序列的时间结构就能够灵活地调整每个时间步骤的计算量，从而提高模型的容量和性能，实验证明该方法能够在评估任务中取得更好的性能表现并减少计算量。

    Nov, 2016

  • 针对传感器数据应用的显式上下文集成循环神经网络

    本文介绍了一种上下文集成循环神经网络 (Context Integrated RNN， CiRNN) 模型，用于处理含有传感器数据和上下文信息的数据，在引擎健康预测领域的实验中表现出比现有模型 39% 和 87% 的示范性改进，特别是在使用非对称分数函数作为测量指标时。

    Jan, 2023

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015