- 核矩阵的低秩逼近入元误差界限
通过截断奇异值分解,我们推导了低秩近似核矩阵的逐元素误差界。尽管这种近似在谱范数和弗罗贝尼乌斯范数误差方面是最优的,但对于单个元素的统计行为知之甚少。我们的误差界填补了这一空白。关键的技术创新是对应于小特征值的核矩阵的特征向量的非定位化结果 - 通过特征谱分析核无背脊回归中的过拟合特性
我们推导了核矩阵条件数的新界限,并利用它来增强固定输入维度下过参数化区域中核岭回归的非渐近测试误差界限。对于具有多项式谱衰减的核函数,我们得到了先前工作中的界限;对于指数衰减,我们的界限是非平凡和新颖的。我们关于过拟合的结论有两个方面:(i - 大规模高斯过程的交替投影
通过基于交替投影的迭代算法,我们提出了一种能够有效进行小批量处理的方法,在解决大规模高斯过程训练的实际挑战中,获得了线性收敛并具有良好的鲁棒性,实验证明在大规模基准数据集上,相比于共轭梯度方法,我们的方法加速了 2 倍到 27 倍。
- 提高 Nyström 方法在低秩近似中的精度
本文提出了一系列启发式策略,使 Nyström 方法在 nonsymmetric 或 rectangular 矩阵中具有高准确度,通过交替方向细化过程,将 Nyström 方法和瘦秩揭示分解作为快速枢轴策略。
- 可扩展的结构自动微分一阶贝叶斯优化
该研究讨论了如何通过结构化矩阵来提高贝叶斯优化(Bayesian Optimization,BO)的性能,并针对内核函数的变换和组合,提出了一个结构感知的自动微分算法,可将 BO 扩展到高维度。
- ICLR使用随机矩阵减少机器学习的计算量:无性能损失的三元随机特征
研究一种称为 Ternary Random Feature 的新型随机特征,在储存和计算效率方面比传统的随机傅里叶特征更优,同时在实验中表现优越,可以用在压缩 / 量化方法中。
- ICML可扩展高斯过程超参数优化的预处理
本研究介绍了一种新的算法和理论视角,通过预处理来优化计算 Gaussian 过程中超参数的对数行列式及其导数,证明了其可行性,并在大规模基准问题上进行了实证验证,取得了杰出的效果。
- AAAI核保持嵌入的相似性学习
本文提出了一种新的相似性学习框架,通过最小化核矩阵的重构误差,而不是现有的重构数据的误差,来提取相似性信息,并在聚类任务中展示了明显的改进,而且该框架为其它相似性任务提供了包括高维数据映射至低维空间在内的一种新的基础。
- 核矩阵谱的相对浓度界限
本文研究了核矩阵特征值的集中性质,证明了这些集中不等式适用于各种核矩阵的特征值,特别是非正定核矩阵在网络分析中的应用。
- ICML再生核 Krein 空间中的可扩展学习
本文首次提供了 Nyström 方法用于求解不定核的低秩矩阵逼近的数学完整证明,并提出了一种高效的方法来寻找这种核矩阵的近似特征分解,以此构建可在再现核 Krein 空间中学习的高度可扩展方法。这些方法提供了一种有原则的并且理论基础良好的方 - 通过 QR 分解改进的固定秩 Nyström 逼近:实践和理论方面
本文探讨标准 Nystrom 方法在排名降低方面存在的缺点,提出了一种修改方法以改进 Nystrom 逼近的固定排名。通过理论分析和数值实验来证明修改方法优于标准 Nystrom 方法,在很多情况下具有极高的精度,是最优的,并与标准 Nys - 大规模核机器的随机聚类 Nystrom
通过基于随机化 K-means 算法的优化 Nystrom 方法,本文提出了一种能适用于大规模数据集的低秩近似计算算法,使得在高维数据集上能够以较小的准确性损失实现更高的计算效率。