Sep, 2016

梯度下降学习线性动态系统

PDF
TL;DR我们证明了随机梯度下降算法可以高效地收敛于未知线性时不变动态系统的极大似然目标函数的全局极值。虽然该目标函数是非凸的，但我们在强但自然的假设下提供了多项式运行时间和样本复杂度界限。尽管线性系统识别已经研究了许多年，但据我们所知，这是我们所考虑的问题的第一个多项式保证。
stochastic gradient descentmaximum likelihood objectivelinear time-invariant dynamical systemsample complexity boundslinear systems identification
发现论文，激发创造
  • 通过梯度下降学习随机人口模型

    从数据中学习机制模型的方法的发展是一个持续的努力，本文通过探索基于模拟的优化方法，讨论了参数估计与结构推断的挑战。

    Apr, 2024

  • 学习无需混合：追求线性系统识别的尖锐分析

    该研究证明了最小二乘（OLS）估算器在从单个观察轨迹中识别线性动态系统方面达到了几乎最小化最优性能。

    Feb, 2018

  • 使用非线性系统理论学习带有收敛保证的优化方法

    我们提出了一个利用非线性系统理论填补演进中算法收敛性和鲁棒性分析的理论框架，可以自动化地优化学习到的算法，保证其设计上的收敛性。

    Mar, 2024

  • 非渐近性和准确的学习非线性动力系统

    研究稳定非线性系统动力学学习问题，使用基于梯度的算法从单个有限轨迹的样本中学习系统动态，特别地，针对 entry-wise 非线性激活函数列出保证，通过数值实验验证了理论公式的正确性。

    Feb, 2020

  • 随机梯度朗逊动力学的非凸学习：非渐近分析

    使用加权运输成本不等式来量化 SGLD 在欧几里得 2 - 瓦瑟斯坦距离下收敛到随机分布的速率，并在非凸学习问题的背景下提供有限时间保证来找到两种风险的近似最小化器。

    Feb, 2017

  • 梯度下降收敛于最小值点

    本文证明了随机初始化的梯度下降会收敛到局部最小值，证明使用了动力系统理论的 Stable Manifold Theorem。

    Feb, 2016

  • 通过谱滤波学习线性动态系统

    本文介绍了一种有效且实用的在线预测离散线性动态系统的算法，通过过参数化多项式对 LDS 的类别进行替代的方式，以获得损失函数的凸性，从而绕过了非凸最优化问题，并基于一种新颖的滤波技术进行了算法的构建。

    Nov, 2017

  • 非随机控制的失当学习

    本文研究非随机控制问题，提出了一种基于降噪观测值的控制器参数化方法，通过在线梯度下降方法得到一个新的控制器，其对一类闭环策略实现了次线性遗憾，为非随机控制领域中第一个可以与所有线性稳定动态控制器竞争的遗憾界。

    Jan, 2020

  • 过度参数化的非线性学习：梯度下降是否走过了最短路径？

    该论文讨论在数据过度参数化时，第一阶段优化方案（如随机梯度下降）的性质。作者发现，当损失函数在初始点的最小邻域内具有某些属性时，迭代会以几何速率收敛于全局最优解，会以接近直接的路线从初始点到达全局最优解，其中，通过引入一个新的潜力函数来作为证明技术的一部分。对于随机梯度下降（SGD），作者开发了新的鞅技巧，以保证 SGD 绝不会离开初始化的小邻域。

    Dec, 2018

  • 随机梯度 Langevin 动力学的碰撞时间分析

    本文研究了随机梯度 Langevin 动力学（SGLD）算法，针对非凸优化问题，注入适当缩放的高斯噪声来更新参数，我们分析了算法达到参数空间任意子集的的命中时间，从理论上得出结论：对于经验风险最小化，如果经验风险在点值上接近于（平滑的）总体风险，则该算法在多项式时间内实现了总体风险的近似局部最小值，逃离仅存在于经验风险的次优局部最小值。同时，我们还展示了 SGLD 如何改进学习零一损失下线性分类器的已知最佳学习结果之一。

    Feb, 2017