基于函数 ANOVA 框架的可解释机器学习：算法和比较

May, 2023

基于函数 ANOVA 框架的可解释机器学习：算法和比较

Interpretable Machine Learning based on Functional ANOVA Framework: Algorithms and Comparisons

Linwei Hu, Vijayan N. Nair, Agus Sudjianto, Aijun Zhang, Jie Chen

TL;DR该论文介绍了可解释的机器学习算法的重要性，重点讨论了低阶函数 ANOVA 模型框架以及解释性强的算法，例如 Explainable Boosting Machines 和 GAMI-Lin-T，并使用数据集比较了算法性能。

Abstract

In the early days of machine learning (ML), the emphasis was on developing complex algorithms to achieve best predictive performance. To understand and explain the model results, one had to rely on post hoc explainability techniques, which are known to have limitations. Recently, with

machine learning interpretable algorithms functional anova models explainable boosting machines gami-lin-t

发现论文，激发创造

基于单调树的 GAMI 模型：XGBoost 的适应

使用 XGBoost 算法开发了单调树型 GAMI 模型，通过过滤技术确定重要交互作用、拟合单调 XGBoost 算法并解析结果得出单调 GAMI 模型。

Sep, 2023

可解释机器学习模型的评估基于加性模型限制

本文探讨 Generalized Additive Models 的五个高级扩展模型和传统的六个机器学习模型，研究和评估其预测绩效和可解释性，并提出了更多的改进设计建议。

Apr, 2022

ANOVA-boosting for 随机傅里叶特征

提出了两种算法，用于提升随机傅里叶特征模型以近似高维函数，这些方法利用经典的方差分析和广义方差分析（ANOVA）分解学习低阶函数，其中变量之间的相互作用较少。算法能够可靠地找到重要的输入变量和变量交互的索引集，还将已有的随机傅里叶特征模型推广到 ANOVA 设置，可以使用不同阶数的项。算法具有解释性的优势，即可以了解到学习模型中每个输入变量的影响，甚至对于相关的输入变量。我们提供了理论和数值结果，证明了算法在敏感性分析方面的良好性能。ANOVA 增强步骤大大降低了现有方法的逼近误差。

Apr, 2024

使用功能 ANOVA 净化交互作用：一种恢复可识别加性模型的高效算法

为解决特征交互作用估计中存在的可辨认性问题，文章提出了纯交互作用的定义，通过提出一种快速、准确的算法，将任何分段常数函数转换为纯粹的、标准化的表示法，结果表明这种算法可以应用到基于多个数据集进行交互式广义可加模型训练的各个领域。

Nov, 2019

机器学习中的模型无关解释框架：在 NBA 体育中的比较研究

机器学习研究领域近年来取得巨大进展，深度学习模型在各种任务上表现出色。然而，这些模型往往在可解释性方面存在不足，因为它们作为不透明的 “黑盒子” 运行，使其决策背后的原理被遮蔽。为了解决这一挑战，我们的研究团队提出了一个创新框架，旨在权衡模型性能和可解释性之间的折衷。我们的方法以对高维数据的模块化操作为核心，可以进行端到端处理同时保持可解释性。通过融合多样化的解释技术和模块化数据处理，我们的框架可以揭示复杂模型的决策过程，而不损害其性能。我们广泛测试了我们的框架，并验证了其在实现计算效率和可解释性之间取得协调平衡方面的卓越成效。我们的方法通过在各个领域的部署中提供前所未有的对复杂模型内部工作原理的洞察，促进信任、透明度和问责制，满足当代机器学习应用的关键需求。

Jan, 2024

基于截断 ANOVA 分解的快速可解释支持向量分类

支持向量机是一种在高维空间中处理分散数据进行分类的重要工具，本研究中利用基于三角函数或小波的特征映射来解决 SVM 问题，并通过多元基函数的限制实现计算效率的提升和解释性强的模型。同时，通过数值实例验证，使用 L1 范数正则化可以在准确性和解释清晰度方面获得更好结果。

Feb, 2024

表格监督机器学习模型的性能和可解释性多目标优化

本研究提出了一种不受模型约束的框架，可以同时优化监督式机器学习模型在表格数据上的预测性能和可解释性，其中可解释性通过特征稀疏性、特征交互稀疏性以及非单调特征效应的稀疏性进行量化。

Jul, 2023

关于核函数和高斯随机场路径的方差分解

本文研究高维函数的表征和全局敏感性分析的 FANOVA 分解，阐述了一种基于高斯随机场样本路径 KANOVA 的核分解方法，以及相关联的张量积投影和协方差核的设计。

Sep, 2014

广义相加模型（GAMs）的可解释性和信任度如何？

该文研究了各种算法在真实和模拟数据集上的表现，发现高特征稀疏性的广义加性模型可能会忽略数据中的模式并对稀有亚族群体不公平，而基于树的广义加性模型在稀疏性、保真度和准确性方面表现最佳，因此值得信赖。

Jun, 2020

多类加性模型的公理可解释性

本文首先将一种基于提升树的最先进 GAMs 学习算法推广到多类别情况，并证明该算法优于现有的 GAMs 学习算法和全复杂度模型，其次，针对多类别情况下 GAMs 易于出现的错误推断，本文提出了 Additive Post-Processing for Interpretability (API)，这种技术被证明可以在保证精度的前提下，满足可解释性公理。

Oct, 2018