神经微分代数方程
神经微分方程是深度学习和动力系统相结合的一个研究领域，可用于解决生成式问题、动力系统和时间序列。本文提供了这个领域的深入调查，并涵盖了神经微分方程的多种类型及其相关的数值方法和符号回归。
Feb, 2022
本文介绍了一种针对非线性代数微分方程 (DAE) 模型的新型可辨识性测试方法，无需进行非线性变换、指标降低或 DAE 的数值积分。通过对不同的 DAE 模型进行可辨识性分析，展示了系统可辨识性如何依赖于传感器选择、实验条件和模型结构，该研究对于 DAE 与其他结构保留模型的数据驱动方法的开发和验证具有广泛适用性和重要贡献。
May, 2024
电路的设计是计算机辅助工程中的重要部分，而有关可调参数对最终设计的影响的量化需要新的方法。本文介绍了一种基于机器学习和改进的节点分析的方法，通过解耦系统方程，只学习微分变量并使用解耦关系重构代数变量，从而保证了代数约束的准确性。
Sep, 2023
本论文在神经延迟微分方程（Neural DDE）的基础上，提出了一种新的神经状态依赖延迟微分方程（SDDDE）的框架，该方法能更好地适用于包含多个状态依赖延迟的复杂系统，并在多种延迟动态系统的数据上显示了较高的性能。
Jun, 2023
本文介绍了一种名为 Neural Delay Differential Equations（NDDE）的连续深度神经网络，使用输入的延迟动态学方程计算相应的梯度，并用数个实际案例展示了 NDDE 比传统模型具有更强的非线性表达能力和性能表现的优势。
Apr, 2023
该研究提出一种新的带延迟的连续深度神经网络模型 —— 神经延迟微分方程（NDDEs），使用伴随灵敏度方法计算相应的梯度，并通过多个案例证明其在模拟复杂模型和实际图像数据集方面具有较优的表现，这表明将动态系统因素引入网络设计有助于提高网络性能。
Feb, 2021
本文提出了神经分数阶微分方程（Neural FDE），一个新颖的深度神经网络结构，通过调整微分方程来适应数据的动态，从而在具有记忆或依赖于过去状态的系统建模中可能优于神经常微分方程（Neural ODE），并且可以有效地应用于学习更复杂的动力系统。
Mar, 2024
使用神经网络和偏微分方程提取动态数据中的模型，参数化模型来结合空时样本相关性，在 MNIST 和 Fashion MNIST 上与其他深度神经网络进行了比较，证明本方法能够降低参数成本。
Aug, 2019
提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。
Jun, 2018
我们提出了一个结合 Radau IIA 数值方法和神经网络结构的 PINN 计算框架，通过注意机制来直接求解高阶 DAEs，并使用域分解策略提高解的精度，实验结果表明基于 5 阶 Radau IIA 方法的 PINN 达到了最高的系统精度，并展示了优秀的计算精度和强大的泛化能力，为高精度解决高阶大规模 DAEs 或具有挑战性的高维偏微分代数方程系统提供了可行方法。
Oct, 2023