本文介绍了一种新的状态空间结构 Liquid-S4 ，它可以通过对状态转移矩阵的对角线及低秩分解进一步提高序列建模任务的表现，达到了 Long-Range Arena 基准测试的最新水平，并在 Speech Command 识别数据集上实现了 96.78% 的精度。

Sep, 2022

LTC-SE 是 Liquid Time-Constant 算法的升级版，针对嵌入式系统的独特约束，通过增强灵活性、兼容性和代码组织等方面的优化，扩展了液态神经网络在机器学习任务中的适用性。

Apr, 2023

该论文提出使用液态时间常数网络以接收信号功率作为输入来预测毫米波链路的未来阻碍状态，实验结果表明在不指定情境数据下最高可达 97.85％的准确率。

Jun, 2023

本文讨论了一种构建神经网络架构的系统方法，用于模拟一类动力系统，即线性时不变 (LTI) 系统。我们使用一种变种的连续时间神经网络，其中每个神经元的输出连续演化为一阶或二阶常微分方程的解。我们提出了一种无梯度算法，从给定的 LTI 系统中直接计算稀疏架构和网络参数，利用其特性。我们提出了一种横向隐藏层的新型神经网络架构范例，并解释了为什么使用传统的纵向隐藏层神经网络可能不是理想选择。我们还给出了该神经网络数值误差的上界，并展示了我们构建的网络在三个数值示例上的高精度。

Mar, 2024

本文提出采用连续时间动力学系统的视角看待循环神经网络（RNNs），并提出了一种描写隐藏状态演变的循环单元，该单元包含一个经过深思熟虑的线性组成部分和一个 Lipschitz 非线性组成部分来促进该单元的长期稳定性分析；并通过实验表明，Lipschitz RNN 在计算机视觉、语言建模和语音预测任务中的表现优于现有的循环单元；通过利用 Hessian 的分析证明我们的 Lipschitz 循环单元相对于其他连续时间 RNN 对输入和参数扰动更具稳健性。

Jun, 2020

对于展现时空动态响应的系统的演化进行预测是促进科学创新的关键技术，传统基于方程的方法需要大规模并行计算平台和大量的计算成本。相比之下，我们提出了一种名为 Latent Dynamics Network 的新型架构，该架构使用降维和深度学习算法来描述系统演化的低维潜在空间，从而预测空间依赖场对外部输入的时间演化，并在几个测试案例上验证了该方法的高效性和精确性。

Apr, 2023

本研究将控制系统应用于序列建模，提出了简单的序列模型 LSSL，并通过引入连续时间记忆的结构矩阵来提高模型性能，使用 LSSL 优于其他深度学习模型并在时间序列等领域取得了优秀成果。

Oct, 2021

本文提出了一种端到端训练神经网络体系结构，以具有高时态稳定性的方式强韧地预测流体流动的复杂动力学。该方法是基于卷积神经网络（CNN）的空间压缩与堆叠长期短期记忆（LSTM）层结构的时间预测网络，并采用新颖的潜在空间划分方法（LSS）。通过选择性地覆盖部分预测的潜在点空间，我们提出的方法能够强韧地预测复杂物理问题的长期序列，并突出空间压缩网络对潜在空间创建的循环训练的好处。

Mar, 2020

本文提出一种基于深度学习的方法，通过使用 LSTM 算法预测流体力学问题中的压力场变化，并在实验中证明了该算法在速度上的优势

Feb, 2018

长序列建模中性能和计算效率之间的权衡成为现有模型的瓶颈，本文基于控制理论中具有多输入和多输出的连续状态空间模型（SSMs），提出了一种新型神经网络，称为线性动力学嵌入神经网络（LDNN）。通过对角化和解耦然后快速傅里叶变换（FFT）的两种高效策略，将卷积的时间复杂度从 O (LNHmax {L, N}) 降低到 O (LNmax {H, log L})，实现了 LDNN 在长序列任务中的少参数、灵活推断和高效训练。我们通过双向非因果和多头设置进一步改进了 LDNN，以适应更广泛的应用领域。对长距离竞技场（LRA）进行了大量实验证明了 LDNN 的有效性和最先进的性能。

Feb, 2024