使用自适应数据收集的估计和推断在统计学中面临重大挑战。通过研究单个坐标估计的错误表明了适应性数据和 i.i.d. 数据之间估计性能的显著差异。研究表明 OLS 方法可实现匹配的估计错误，我们还提出了一种新的单坐标推断估计器，通过解两阶段自适应线性估计方程来实现。

Oct, 2023

我们证明了随机梯度下降算法可以高效地收敛于未知线性时不变动态系统的极大似然目标函数的全局极值。虽然该目标函数是非凸的，但我们在强但自然的假设下提供了多项式运行时间和样本复杂度界限。尽管线性系统识别已经研究了许多年，但据我们所知，这是我们所考虑的问题的第一个多项式保证。

Sep, 2016

通过分析最小二乘估计器的变体，，提出了一种半参数噪声估计算法，可以解决具有偏差，半参数噪声的估计问题，同时可以应用于部分观测线性系统参数的估计，且对于长期依赖问题的方差引入具有可减少的能力.

Feb, 2019

本文提出了一种构建无偏估计器的普遍方法，使用自适应线性估计方程的思想，并建立渐近正常性的理论保证，以及实现接近最优渐近方差的讨论。

Jul, 2023

该研究针对不稳定线性系统的参数识别问题进行了研究，建立了针对重尾噪声分布和转移矩阵的一类较大误差最小二乘估计的有限时间界限，并与问题维度和真实转移矩阵的关键特征及噪声分布函数的性质相关联，并使用随机矩阵和鞅差序列的适当浓度不等式来实现这些结果。

Oct, 2017

该论文针对线性系统识别问题建立了特定于问题的样本复杂性下限，其能够精确地表示系统的主要特征，并考虑了受控系统和不受控制的系统的情况。

Mar, 2019

在已知部分观测的线性动态系统属于已知候选模型的有限集合的情况下，本文关注线性系统识别问题。我们首先考虑了给定轨迹的识别问题，利用线性最小二乘方法的最新非渐近分析进展来表征这个问题的有限时间样本复杂性，并设计了一个维度无关样本复杂性界的学习器。接下来，我们考虑了线性系统的切换控制问题，其中每个候选模型都有一个候选控制器，并通过系统与一组潜在的破坏性控制器的交互来收集数据，我们开发了一个维度相关的准则来在有限时间内检测这些破坏性控制器。我们利用这些结果提出了一个数据驱动的切换策略来识别潜在系统的未知参数，并对其性能进行了非渐近分析，并讨论了其对基于估计的监督控制方法的影响。

Apr, 2024

该论文介绍了最近在系统辨识理论中发展起来的非渐近方法，重点介绍了在该领域的一系列问题中特别有用的工具，如覆盖技术、Hanson-Wright 不等式和自标准化马丁格尔方法，并使用这些工具对用于识别自回归模型中的参数的各种最小二乘估计器的性能给出了简化的证明。最后概述了如何将所提出的思想扩展到某些非线性辨识问题。

Sep, 2023

通过提供 OLS 插值器的高维代数和统计结果，我们对其一般化能力和因果推断具有实质性影响进行了研究，此外，我们还在高斯 - 马尔可夫模型下提出了统计结果和方差估计的分析。

Sep, 2023

研究了最小二乘线性回归的问题，其中数据点依赖于并从马尔可夫链中采样。在不同的噪声设置下，建立了关于底层马尔可夫链混合时间 $\tau_{mix}$ 的尖锐信息理论极小值下界来解决此问题。我们发现，与独立数据的优化相比，具有马尔可夫数据的优化通常更加困难，一个只在大约 $ ilde {\Theta}(\tau_{mix})$ 个样本中工作的平凡算法 (SGD-DD) 是极小化最优的。此外，我们还研究了实践中出现的结构化数据集，例如高斯自回归动态，它们能否拥有更高效的优化方案。令人惊讶的是，即使在这个特定的自然环境下，具有一定步长的随机梯度下降法与常数并没有比 SGD-DD 算法更好。相反，我们提出了一种基于体验复盘的算法 —— 一种流行的强化学习技术 —— 它可以实现更好的误差率。我们的改进速率是第一个在有趣的马尔可夫链上优于 SGD-DD 的算法之一，也为在实践中支持使用经验回放提供了首个理论分析。

Jun, 2020