DON-LSTM：多分辨率学习中的 DeepONets 和长短时记忆神经网络

Oct, 2023

DON-LSTM：多分辨率学习中的 DeepONets 和长短时记忆神经网络

DON-LSTM: Multi-Resolution Learning with DeepONets and Long Short-Term Memory Neural Networks

Katarzyna Michałowska, Somdatta Goswami, George Em Karniadakis, Signe Riemer-Sørensen

TL;DR通过在深度操作网络中增加长期短期记忆网络，我们提出了一种名为 DON-LSTM 的新型架构，使网络具备了利用多分辨率数据和捕捉长序列中的时间依赖性的能力。在多个非线性系统的长时间演化建模任务中，我们测试了我们的方法，并展示了提出的多分辨率 DON-LSTM 相对于其原始对照模型，在泛化误差显著减小且需要更少高分辨率样本的优势。

Abstract

deep operator networks (deeponets, DONs) offer a distinct advantage over traditional neural networks in their ability to be trained on multi-resolution data. This property becomes especially relevant in real-worl

deep operator networks multi-resolution data deeponets don-lstm long sequences

发现论文，激发创造

B-LSTM-MIONet: 基于贝叶斯 LSTM 的神经算子，用于学习复杂动力系统对长度可变多输入函数的响应

深度运算器网络（DeepONet）是一种神经网络框架，用于学习描述复杂系统的非线性运算器，该研究通过将长短期记忆（LSTM）集成到多输入神经网络运算器（MIONet）中，以克服数据离散化约束，利用变长实时数据，提高模型在噪声数据集上的准确性和可靠性，并引入贝叶斯方法对不确定性进行量化。

Nov, 2023

差分循环神经网络用于动作识别

本文提出了一种差分门控 LSTM 神经网络，它采用导数来量化关键运动模式对时间序列数据的信息增益，从而提高动作识别的准确率。

Apr, 2015

深度差分循环神经网络

使用深度可微分循环神经网络 (d2RNN) 和微分状态，对长短期记忆网络 (LSTM) 进行改进，使其能够检测连续输入数据中的空间时间动态信息，并在人类活动数据集 NUS-HGA 和 Violent-Flows 上超越了最先进的 LSTM 和非 LSTM 算法。

Apr, 2018

深度振动神经网络

我们提出了一种新颖的、受大脑启发的深度神经网络模型，称为深层振荡神经网络 (DONN)。DONN 具有振荡内部动态，可以在信号和图像 / 视频处理的多个基准问题上提供与已发表结果相当或更好的性能。

May, 2024

基于格子长短期记忆的人类动作识别

L2STM 是一种通过学习独立的隐藏状态转移来增强模型的时间动力学建模能力以及解决长期时间动态不稳定的问题的方法，结合多模态训练程序，在人类动作识别方面表现优于现有的基于 LSTM 和 / 或 CNN 的方法。

Aug, 2017

利用长短期记忆网络对高维混沌系统进行数据驱动的预测

使用基于数据驱动的长短时记忆（LSTM）循环神经网络的预测方法，展示了该方法在高维混沌系统中的定量预测效果，并提出了一种新的具有混合结构的 LSTM 神经网络。与高斯过程相比，LSTM 在所有应用中都表现出更好的短期预测准确性，并且 MSM-LSTM 可以保证收敛到不变措施。

Feb, 2018

长期循环卷积网络用于视觉识别和描述

研究比较深度卷积网络和带有循环结构的深度卷积神经网络的效果，针对视频识别、图像描述、检索以及视频叙事方面的问题，开发出一种新颖的循环卷积架构，该架构可以训练端到端，可以同时学习时间动态和卷积感知表示，并具有学习长期依赖性的能力。实验结果证明，循环卷积模型在识别或生成方面与现有的模型相比具有明显的优势。

Nov, 2014

利用深度神经网络建模长短期时间模式

本文提出了一个新的深度学习框架 —— Long- and Short-term Time-series network (LSTNet)，用于解决多元时间序列预测等问题，并在复杂混合循环模式数据上实现了显著的性能提升。

Mar, 2017

超越短片段：用于视频分类的深度网络

本论文提出和评估了几个深度神经网络架构，用于对比以往更长时间段内视频图像信息的组合。通过一些新的方法，包括卷积时间特征池化和循环神经网络结构，该论文指出最佳神经网络在 Sports 1 million 数据集（73.1％对 60.9％）和 UCF-101 数据集中（88.6％对 88.0％）及无附加光流信息（82.6％对 72.8％）上明显性能提高。

Mar, 2015

线性动力学嵌入神经网络用于长序列建模

长序列建模中性能和计算效率之间的权衡成为现有模型的瓶颈，本文基于控制理论中具有多输入和多输出的连续状态空间模型（SSMs），提出了一种新型神经网络，称为线性动力学嵌入神经网络（LDNN）。通过对角化和解耦然后快速傅里叶变换（FFT）的两种高效策略，将卷积的时间复杂度从 O (LNHmax {L, N}) 降低到 O (LNmax {H, log L})，实现了 LDNN 在长序列任务中的少参数、灵活推断和高效训练。我们通过双向非因果和多头设置进一步改进了 LDNN，以适应更广泛的应用领域。对长距离竞技场（LRA）进行了大量实验证明了 LDNN 的有效性和最先进的性能。

Feb, 2024