Apr, 2015

双向递归神经网络作为生成模型 - 时间序列中的间隙重建

PDF
TL;DR本文提出两种概率解释双向循环神经网络并应用于高维时间序列数据中的缺失值填充，在文本数据表现比单向推断更加准确，而在音乐数据中则具有可扩展性。
发现论文，激发创造
  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 用于多变量时间序列的循环神经网络，含缺失值

    本研究提出一种基于 GRU 的深度学习模型 GRU-D，利用缺失模式中的缺失值及其时间间隔，成功地捕获时间序列中的长期时间依赖关系，提高了时间序列分类任务的预测性能，并为缺失值在时间序列分析中的更好理解和利用提供了有用的见解。

    Jun, 2016

  • 循环神经网络的最近进展

    本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

    Dec, 2017

  • 使用双向递归神经网络引导多语言文本分析工具

    本文旨在研究对于资源贫乏的语言的快速语言注释工具的发展，我们采用递归神经网络模型实验了多种跨语言注释映射方法。我们提出了一种真正的多语言标记器方法，并通过使用平行语料库证实了其有效性和通用性。

    Sep, 2016

  • 利用多方向循环神经网络估算时间序列数据中的缺失值

    提出了一种基于新型深度学习结构的多方向循环神经网络方法，用于在数据流内插值和在数据流中添加值。模型在医疗数据集中的表现优于 11 个现有方法，提高了 35% 至 50% 左右的均方根误差，有效地解决了医疗数据中缺失数据的问题。

    Nov, 2017

  • 改进时间序列表示学习的双向生成预训练

    通过时间序列数据的下一个令牌和上一个令牌的预测，BiTimelyGPT 在预训练任务中保留了时间序列的原始分布和数据形状，并展示了更具表现力的表示能力。使用生物信号数据，BiTimelyGPT 在预测神经功能、疾病诊断和生理迹象方面表现出优异性能。通过可视化注意力热图，我们观察到经过预训练的 BiTimelyGPT 能够从时间序列序列中识别出有区别性的片段，尤其是在任务微调之后。

    Feb, 2024

  • 门控循环神经网络发现注意力

    近期的研究发现具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力，这是 Transformer 的主要组成部分之一。通过对一组训练过的 RNNs 进行逆向工程，我们发现在实践中梯度下降法会找到我们构建的机制。这项研究结果强调了神经网络中乘性交互的重要性，并暗示某些 RNNs 可能在内部意外地实现了注意力机制。

    Sep, 2023

  • 堆叠双向和单向 LSTM 循环神经网络用于具有缺失值的网络宽度交通状态预测

    本文提出了基于深度学习方法，特别是循环神经网络的短期交通预测模型，其中采用双向 LSTM 等技术来处理空间 - 时间数据中的缺失值，实验结果表明该模型在准确性和鲁棒性方面的表现优异。

    May, 2020

  • 多维递归神经网络

    本文介绍了多维循环神经网络 (MDRNNs) 的概念，扩展了循环神经网络 (RNNs) 在视觉、视频处理、医疗影像等领域的应用，同时避免了其它多维模型所面临的缩放问题。笔者提供了两个图像分割任务的实验结果。

    May, 2007

  • 用于视频未来预测的折叠循环神经网络

    本研究介绍了双射门控循环单元，为计算机视觉中未来视频预测问题提供了一种有效的方法，能够使编码 / 解码器之间的状态共享并减少计算成本，达到了与最优方法相当的性能。

    Dec, 2017