Apr, 2024

ANOVA-boosting for 随机傅里叶特征

PDF
TL;DR提出了两种算法，用于提升随机傅里叶特征模型以近似高维函数，这些方法利用经典的方差分析和广义方差分析（ANOVA）分解学习低阶函数，其中变量之间的相互作用较少。算法能够可靠地找到重要的输入变量和变量交互的索引集，还将已有的随机傅里叶特征模型推广到 ANOVA 设置，可以使用不同阶数的项。算法具有解释性的优势，即可以了解到学习模型中每个输入变量的影响，甚至对于相关的输入变量。我们提供了理论和数值结果，证明了算法在敏感性分析方面的良好性能。ANOVA 增强步骤大大降低了现有方法的逼近误差。
random fourier feature modelsanova decompositionlow-order functionsvariable interactionssensitivity analysis
发现论文，激发创造
  • 基于截断 ANOVA 分解的快速可解释支持向量分类

    支持向量机是一种在高维空间中处理分散数据进行分类的重要工具，本研究中利用基于三角函数或小波的特征映射来解决 SVM 问题，并通过多元基函数的限制实现计算效率的提升和解释性强的模型。同时，通过数值实例验证，使用 L1 范数正则化可以在准确性和解释清晰度方面获得更好结果。

    Feb, 2024

  • 关于核函数和高斯随机场路径的方差分解

    本文研究高维函数的表征和全局敏感性分析的 FANOVA 分解，阐述了一种基于高斯随机场样本路径 KANOVA 的核分解方法，以及相关联的张量积投影和协方差核的设计。

    Sep, 2014

  • 随机傅里叶特征的误差

    本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

    Jun, 2015

  • 基于函数 ANOVA 框架的可解释机器学习：算法和比较

    该论文介绍了可解释的机器学习算法的重要性，重点讨论了低阶函数 ANOVA 模型框架以及解释性强的算法，例如 Explainable Boosting Machines 和 GAMI-Lin-T，并使用数据集比较了算法性能。

    May, 2023

  • 随机 Fourier 特征的统一分析

    使用随机傅里叶转换对核方法的学习过程进行风险分析，同时提出使用 Ridge 杠杆得分进行特征筛选的随机傅里叶转换方法，可大大降低计算成本。

    Jun, 2018

  • 支持向量机的预条件内点方法利用 ANOVA 分解和 NFFT 基矩阵向量乘法

    本文研究软间隔支持向量机优化问题的数值解，通过使用 NFFT 加速的矩阵向量乘积和 ANOVA 分解特征空间的方法，结合预处理方法和 Krylov 子空间求解器，对线性鞍点形式的线性系统进行求解，比较了 ANOVA 核方法与默认 LIBSVM 实现方法在大规模数据集上的准确性和性能表现。

    Dec, 2023

  • 具有相关输入的条件高斯过程的方差分析分解法在灵敏度分析中的应用

    本文提出了一种基于高维高斯过程回归的方差灵敏度测量方法，可用于复杂计算代码的敏感性分析，适用于非独立输入，并提供了估算方法和不确定性量化，最后通过玩具函数和河流洪水模型进行演示。

    Oct, 2013

  • 正交随机特征：显式形式和尖锐不等式

    通过正交随机特征来近似普遍的高斯核，本研究分析了基于正交随机特征的核逼近的偏差和方差，并通过使用归一化贝塞尔函数推导出了明确的表达式，并提供了支持正交随机特征比随机傅里叶特征更具信息性的尖锐指数界限。

    Oct, 2023

  • 使用功能 ANOVA 净化交互作用：一种恢复可识别加性模型的高效算法

    为解决特征交互作用估计中存在的可辨认性问题，文章提出了纯交互作用的定义，通过提出一种快速、准确的算法，将任何分段常数函数转换为纯粹的、标准化的表示法，结果表明这种算法可以应用到基于多个数据集进行交互式广义可加模型训练的各个领域。

    Nov, 2019

  • 使用随机特征学习的精确性能分析

    本文研究无法可知函数的学习问题，主要贡献在于使用高斯数据对这种学习问题进行精确的渐近分析。在特征矩阵的温和正则条件下，本文提供了在低参数与高参数模式下渐近的训练和泛化误差的精确刻画。该分析适用于一般的特征矩阵、激活函数和凸损失函数家族。数值结果验证了我们的理论预测，表明我们的渐近发现与所考虑的学习问题的实际表现非常符合，即使在中等维度下也是如此。此外，它们揭示了正则化、损失函数和激活函数在学习中缓解 “双下降现象” 中所发挥的重要作用。

    Aug, 2020