提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

Jun, 2018

基于深度神经网络的时间同步状态估计器对于输入扰动具有鲁棒性和可信度的分析验证，并通过批量标准化解决混合整数线性规划问题的可扩展性限制。在修改的 IEEE 34 节点系统和真实的大型配电系统上，验证了该框架在面对微相位测量单元观测不完整的情况下进行时间同步配电系统状态估计的能力。

Nov, 2023

本文提出了一种新的估计方法 SUBNET，通过使用编码器函数估计每个子节的初始状态以及新颖的状态导数归一化方法，可以高效地近似完整的模拟损失来有效地解决了连续时间的 NL-SS 模型识别问题。

Apr, 2022

提出了神经连续 - 离散状态空间模型 (NCDSSM)，用于对时间序列进行连续时间建模。该模型使用辅助变量进行识别和动态分离，从而仅需要为辅助变量进行摊销推理。通过连续离散滤波理论，提出了三种灵活的潜在动态参数化方法和一种能够较快地进行后验推理的训练目标函数。实验结果表明，NCDSSM 在多个基准数据集上都比现有模型具有更好的插补和预测性能。

Jan, 2023

本文介绍了一种基于偏微分方程框架的深度残差神经网络和相关学习问题的方法，并研究了前向问题的稳定性和最优性，同时探究了神经网络、PDE 理论、变分分析、优化控制和深度学习之间的算法和理论联系。

May, 2019

本文提出了一种基于状态空间模型的、定制化神经模型结构及两种自定义拟合标准，通过优化隐藏状态与神经网络参数以最小化测量输出和估计输出之间的差异，同时保证优化状态序列与估计系统动态一致，从而证明了该方法的有效性，进而在三个案例研究中应用于系统辨识基准测试。

Jun, 2020

我们考虑时齐动力系统的一般类别，包括离散和连续性，并研究从观测数据中学习状态的有意义表示的问题。这对于学习系统的前向传递算符非常关键，从而可以用于预测未来状态或可观测量。该表示通常通过神经网络参数化，并通过优化类似于规范相关分析（CCA）的目标函数来学习。然而，与 CCA 不同，我们的目标避免矩阵求逆，因此通常更稳定且适用于挑战性的情况。我们的目标是 CCA 的一个紧松弛，并通过提出两种正则化方案进一步增强，一种鼓励表示的分量正交而另一种利用 Chapman-Kolmogorov 方程。我们将该方法应用于具有挑战性的离散动力系统，讨论其相对先前方法的改进，并应用于连续动力系统。

Jul, 2023

本文提出一种新型的正则化流，其基于 Wiener 过程的微分变形，从而获得一个完整的时间序列模型，该模型继承了其基本过程的许多性质，如似然性和边缘效率。此外，我们的连续处理为有独立到达过程的不规则时间序列提供了自然框架，包括直接插值。在合成数据和真实世界数据的一系列实验中，我们证明了该模型相对于变分 RNN 和潜在 ODE 基线的优越灵活性。

Feb, 2020

在测量模型的微调中，通过条件规范化流，在不同的可微粒子过滤器框架下学习表达丰富而有效的概率密度函数，以捕捉状态下测量的复杂似然性。在视觉跟踪实验中，我们证明了该方法可以带来更好的估计性能和更快的训练收敛。

Mar, 2022

本文对神经状态空间模型的系统识别算法的学习问题进行了深入的研究，探讨了初始状态估计的选择和作用，并在两个系统识别基准测试上进行了大量实验和分析，表明高级初始状态估计技术对于某些类型的动态系统需要实现高性能，而对于渐近稳定的系统，则基本过程，如零或随机初始化，已经具有竞争性能。

Jun, 2022