高效公正稀疏化
研究了多维欧氏空间中寻找一个 k 维子空间 F,使得一组 n 个点到该子空间的 p 次方欧氏距离和最小的问题。进一步探讨了在某些损失函数 M ()(如 Huber 和 Tukey 损失函数)下此问题的最优解。这些鲁棒子空间可替代奇异值分解(SVD)提供更有效的解决方案,对于典型的 M-Estimators,对离群值的鲁棒性更强。本文给出了一些这些鲁棒子空间逼近问题的算法和难度结果。
Oct, 2015
研究了一种简单的稀疏编码机制及其在学习中的应用,发现可以利用随机线性变换和 Winner-Take-All 过程将输入信息 $x$ 变换成更易于处理的稀疏向量 $z$,并且当 $m$ 足够大时,$z$ 可以近似表示 $x$ 的任意连续函数。此外,还研究了表示的自适应性问题,并给出了一些有利的近似误差界。
Jun, 2020
通过减少信息交换的通信成本,提出了使用凸优化公式的随机梯度编码方法,该方法可以在多台机器上有效地解决大规模机器学习中的瓶颈问题,同时经过正则化逻辑回归,支持向量机和卷积神经网络的实验验证了该方法的有效性。
Oct, 2017
本研究提出一种可以对一个 n x n 的矩阵进行零化处理和元素保留的稀疏化算法,并运用一种新型的非交换 Bernstein 不等式进行分析和比较。
Jun, 2010
该研究探讨了基于多元正态分布向量的贝叶斯预测密度问题,通过使用超调和先验分布得到的任何 Bayes 预测密度都是最小最大化的。
May, 2006
本文提出了一种基于图拉普拉斯矩阵谱相似性的新型图稀疏化方法,证明了任何图都有近乎线性大小的谱稀疏化,并给出了一个可在几乎线性时间内构建谱稀疏化的算法,该方法的关键组成部分之一是对具有强保证的近乎线性时间图划分算法的使用。
Aug, 2008
研究高维稀疏主成分分析,提出了行稀疏和列稀疏的 lq 子空间稀疏概念,并为 0≤q≤1 证明了极小化子空间估计误差的非渐近下限和上限。这一限制完美适用于行精疏的子空间,并且近乎适用于列精疏的子空间。我们使用一种新颖的变分 sinΘ 定理进行证明,该定理可能对其他正则化谱估计问题有用。
Nov, 2012
ell_p 子空间逼近问题是一个 NP-hard 的低秩逼近问题,我们通过构建一个强核心集算法,第一次获得了对于 rank 参数 k 几乎最优性的依赖,得到了 p<2 时的近似线性边界 O (k) poly (ε^(-1)) 和 p>2 时的 O (k^(p/2)) poly (ε^(-1)) 边界,此外,我们还解决了在线 setting 中 poly (k) 因子损失的问题。
Jul, 2024