Sep, 2019

高次多项式核的无差别素描

PDF
TL;DR提出了一种通用方法，可将数值线性代数中的随意草图解决方案应用于数据点的张量，从而根据多项式内核函数的大小开发了第一个仅在目标维度上具有多项式依赖性的多项式内核的忽略草图，并且无需因输入数据维数而遭受指数依赖。
kernel methodsmachine learningscalabilityoblivious sketchingpolynomial kernel
发现论文，激发创造
  • 具有统计保证的快速随机核方法

    本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法，并提出了一个计算算法，该算法可以用来在不需要生成全核矩阵的情况下，对特征向量矩阵进行采样，并在统计表现和运行时间方面提供了新的保证。

    Nov, 2014

  • 草图作为数值线性代数工具

    本文综述了数值线性代数算法领域的最新进展，着重介绍了利用线性草图技术来进行矩阵压缩的方法，以加速解决原问题。文章讨论了最小二乘、鲁棒回归、低秩逼近和图稀疏化的问题，并优化了这些问题的不同变体。最后，文章探讨了草图方法的局限性。

    Nov, 2014

  • 低秩核矩阵近似的尖锐分析

    本文研究了在正定核框架下的监督学习问题，提出了基于随机矩阵列采样的核矩阵低秩近似方法，此方法可以在 sub-quadratic 的时间复杂度内有效解决核矩阵计算问题，同时保持预测性能不变。

    Aug, 2012

  • 草图算法的统计性质

    该论文介绍了一种称为 “sketching” 的数据压缩技术，该技术通过随机投影将大型数据集压缩成较小的替代数据集，然后进行统计分析，该方法特别适用于大规模的线性回归问题。

    Jun, 2017

  • Kronecker 乘积回归和 P 样条的草图

    本文提出一种名为 TensorSketch 的算法，它可以用于 Kronecker 乘积回归、正规化样条回归等问题，并且还可以用于基本相关性分析和低秩逼近。此外，该算法还被扩展到用于其他范数的计算。

    Dec, 2017

  • 随机化草图用于核回归：快速和最优非参数回归

    本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

    Jan, 2015

  • 关于核学习的复杂性

    本文主要研究降低核矩阵计算成本的方法，并针对观测的核矩阵条目数或近似核矩阵的秩，确定这些方法在错误达到下限的条件。研究结果表明损失函数，正则化参数，期望预测器的范数和核矩阵秩等参数与问题难度有关，同时提出了更高效的核学习可能的情况。

    Nov, 2014

  • A la Carte - 学习快速内核

    通过 Fastfood 基函数扩展导出的一系列快速、灵活、轻度参数化和通用的核学习方法可以学习广泛类别的核，显示出比现有方法更高的准确度、速度和内存消耗。

    Dec, 2014

  • 关于核函数的近似方法

    统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中，核通常根据问题和数据的特征进行选择，然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据，并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核，本文建立了关联特征值的上限，该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数，从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。

    Mar, 2024

  • 基于克罗内克草图的快速图神经切向核

    本文介绍了用于图数据的新方法 - 图神经正切核 (GNTK)，并提出了第一种在 O（n ^ 2N ^ 3）运行时间内构造核矩阵的算法，以加快 GNTK 回归的端到端运行时间。

    Dec, 2021