研究稳定非线性系统动力学学习问题,使用基于梯度的算法从单个有限轨迹的样本中学习系统动态,特别地,针对 entry-wise 非线性激活函数列出保证,通过数值实验验证了理论公式的正确性。
Feb, 2020
本文介绍了一种有效且实用的在线预测离散线性动态系统的算法,通过过参数化多项式对 LDS 的类别进行替代的方式,以获得损失函数的凸性,从而绕过了非凸最优化问题,并基于一种新颖的滤波技术进行了算法的构建。
Nov, 2017
我们研究了在单一轨迹上学习稳定未知噪声线性时不变系统的问题,并提出了一种新算法,通过解耦系统的不稳定子空间和稳定子空间来避免状态空间维度的指数级增长。使用基于奇异值分解的分析框架,我们证明了在状态范数达到 2^(O (k log n)) 之前,系统能够被稳定,避免了传统方法中状态维度指数级增长的问题。本文是第一篇避免状态空间维度指数级增长的稳定带噪声线性时不变系统的文章。
May, 2024
该篇论文研究了使用线性模型描述随机动态的网络 (有向图) 的学习问题,并证明了在较高采样率的情况下,利用 $\ell_1$- 正则化最小二乘算法可以高效地推断出稀疏网络结构。
Nov, 2010
该研究论文研究并给出了稳定的 Ho-Kalman 算法,结合马尔科夫参数的样本复杂性结果,提供数据分析,准确性和高度概率下实现了学习至所需精度的平衡实现。
Jun, 2018
我们证明了随机梯度下降算法可以高效地收敛于未知线性时不变动态系统的极大似然目标函数的全局极值。虽然该目标函数是非凸的,但我们在强但自然的假设下提供了多项式运行时间和样本复杂度界限。尽管线性系统识别已经研究了许多年,但据我们所知,这是我们所考虑的问题的第一个多项式保证。
Sep, 2016
本文研究离散时间动力系统与递归神经网络,提出了一种基于随机梯度下降的权重矩阵学习方法,并证明了其近乎最优的样本大小和线性收敛性,适用于激活函数的导数远离零的情形。同时,进行了数值实验以验证理论的正确性。
Sep, 2018
使用局部稳定性分析的数学框架,我们研究了前馈神经网络学习动力学的深层理解,推导了三层神经网络在学习回归任务时的切线算子方程,结果适用于任意节点数和任意激活函数的选择。我们通过数值方法应用这些结果于网络学习回归任务中,调查了稳定性指标与最终训练损失之间的关系。虽然具体结果会因初始条件和激活函数的不同而有所变化,我们证明了通过监测训练过程中的有限时间 Lyapunov 指数或协变 Lyapunov 向量,可以预测最终的训练损失。
Apr, 2024
本文提出了一种基于平滑信号的图形结构学习框架,可以通过学习边权重和已知顶点位置的图,实现自然的稀疏解,且提出的方法在许多场景下表现出更好的性能。
Jan, 2016
本研究介绍了一种用于学习具有隐状态的线性动态系统的多项式时间算法,该算法无需对系统的转移矩阵的谱半径作出假设并且采用新颖的凸松弛技术扩展了之前仅适用于具有对称转移矩阵的谱过滤技术,以实现相位的高效识别。
Feb, 2018