Oct, 2023

从 Oja 算法到乘法权重更新方法及应用

TL;DR奥贾算法是一个众所周知的在线算法,主要用于随机主成分分析的背景中。我们进行了一个简单但新颖的观察,即当应用于共享公共特征向量的任意对称矩阵序列时,并不一定是随机的,奥贾算法的遗憾可以直接以预测专家建议问题的众所周知的乘积权重更新方法的遗憾为界限。讨论了在 $ eals^n$ 上的单位球上具有二次形式的优化的几个应用。