特征向量动态:一般理论和一些应用
通过时间序列获得的自相关矩阵的特殊结构,以及基于逆 Abel 变换等方法获得其精确的特征值密度。研究发现,标准的高斯误差预测无法解释通过实际高频数据计算出的特征值密度的非随机模式,如 Imaginary 部分的不对称依赖性和市场影响下的股票聚类现象。
Sep, 2006
该论文针对矩阵扰动中的特征向量进行了研究,证明了当矩阵是低秩和不相干的时候,奇异向量的(或对称情况下的特征向量)l∞范数扰动界限比 l2 范数扰动界限更小一个因子。作者在稳健协方差估计方面提出了新的建模方法,并利用所开发的扰动界限确立其渐近性质。
Mar, 2016
通过探究样本协方差矩阵的主成分、大偏差估计以及异常值和非异常值特征向量的推导,得到了一些新的结论,如:具有信息量的主成分特征向量可以反映总体协方差矩阵的次临界模式。
Apr, 2014
通过对相似性矩阵的特征向量的波动性进行建模,证明了在大维空间中其元素的波动服从高斯分布,从而精确预测了谱聚类的分类性能。通过对合成数据和真实数据的数值实验,证明了这一现象的普适性。
Feb, 2024
提出一种新的矩阵扰动方法,利用扰动的性质和其与未扰动结构的相互作用,在类似随机扰动的情况下极大地改善了经典理论的不足,应用此方法分析随机区块模型中的扰动,产生了比经典理论更严格的边界,并使用此新的扰动理论展示了一种简单且自然的聚类算法,即使在非常稀疏的图形中也能精确地恢复区块模型的社区。
Jun, 2017
通过随机梯度下降(SGD)和经验 Hessian 和梯度矩阵的谱的联合演化,我们严格地研究了训练动态的联合演化。我们证明,在多类高维混合和单层或两层神经网络的两个典型分类任务中,SGD 轨迹迅速与 Hessian 和梯度矩阵的新出现的低秩异常特征空间对齐。此外,在多层设置中,这种对齐是逐层进行的,最后一层的异常特征空间在训练过程中发生变化,并在 SGD 收敛到次优分类器时呈现秩亏。这些结果证实了过去十年中关于过参数化网络在训练过程中 Hessian 和信息矩阵的谱的广泛数值研究中出现的一些丰富预测。
Oct, 2023
本研究证明:在一个有限维的随机点积图的归一化拉普拉斯矩阵的 $d$ 个最大特征值所对应的特征向量的组成部分符合中心极限定理。作为推论,我们证明了对于随机块模型图,归一化拉普拉斯矩阵的谱嵌入的行收敛于多元正态分布,并且每个行的均值和协方差矩阵是其所对应顶点块成员的函数。与邻接矩阵的特征向量的先前结果一起,我们通过多元正态分布之间的 Chernoff 信息比较了嵌入方法选择对后续推理的影响,演示了嵌入方法都不占优势,因此推断潜在块分配的任务无法通过这些嵌入方法获得显著提升。
Jul, 2016
本文提出并研究了高斯机制的一种复杂变体,通过使用该变体输出的矩阵与 $M$ 的最佳秩 - k 近似之间的 Frobenius 范数之差被限制在大约 $\tilde {O}({\sqrt {kd}})$,这可以改善先前的工作,前者需要每对 $M$ 的前 k 个特征值之间的差异至少为 $\sqrt {d}$,而后者仅需要相邻的前 k 项的差异。
Jun, 2023
高维随机动力系统中,系统识别的关键是通过观察到的轨迹对系统进行状态转移矩阵估计。由于空间 - 时间相关性,当动力系统具有一个不同的特征值且失配度为 n-1 时,可能导致维度的诅咒问题。通过最小二乘回归处理这些发现来进行误差分析。
Oct, 2023