May, 2022

通过多项式实现可扩展的可解释性

PDF
TL;DR提出了一种新的分类 GAMs 的方法，称为 Scalable Polynomial Additive Models (SPAM)，通过多项式的张量秩分解来实现高阶特征交互，同时保证模型的可解释性和易扩展性，大幅度地优于现有的可解释方案，并在真实世界的各种基准测试中表现出与 DNN / XGBoost 相当的性能。
发现论文，激发创造
  • 张量多项式加法模型

    我们提出了张量多项式加法模型（TPAM），通过保留高阶输入的多维结构信息和使用分层低阶对称张量逼近来压缩模型参数，能够捕捉到复杂的高阶特征交互，并提高最高达 30％的准确性和 5 倍的压缩率，同时保持可解释性。

    Jun, 2024

  • NODE-GAM: 神经广义加性模型用于可解释的深度学习

    本文提出了一种神经广义加性模型（NODE-GAM）和神经广义加性和模型（NODE-GA^2M），这种模型相对于其他集成和深度学习模型而言更具有可解释性，且可以自监督预训练以提高模型准确性。

    Jun, 2021

  • 广义相加模型（GAMs）的可解释性和信任度如何？

    该文研究了各种算法在真实和模拟数据集上的表现，发现高特征稀疏性的广义加性模型可能会忽略数据中的模式并对稀有亚族群体不公平，而基于树的广义加性模型在稀疏性、保真度和准确性方面表现最佳，因此值得信赖。

    Jun, 2020

  • 可解释机器学习模型的评估基于加性模型限制

    本文探讨 Generalized Additive Models 的五个高级扩展模型和传统的六个机器学习模型，研究和评估其预测绩效和可解释性，并提出了更多的改进设计建议。

    Apr, 2022

  • 多类加性模型的公理可解释性

    本文首先将一种基于提升树的最先进 GAMs 学习算法推广到多类别情况，并证明该算法优于现有的 GAMs 学习算法和全复杂度模型，其次，针对多类别情况下 GAMs 易于出现的错误推断，本文提出了 Additive Post-Processing for Interpretability (API)，这种技术被证明可以在保证精度的前提下，满足可解释性公理。

    Oct, 2018

  • 使用 LLMs 和可解释模型的数据科学

    大规模语言模型与可解释模型（Interpretable Models）能够相互配合，LLMs 能够描述、解释和调试广义可加模型（Generalized Additive Models），结合 GAMs 描述的统计模式，使得数据集概述、问题回答和模型评论成为可能。LLMs 还能改进领域专家和可解释模型之间的交互，并产生关于潜在现象的假设。

    Feb, 2024

  • Emb-GAM：使用预训练语言模型的可解释和高效预测器

    该研究利用神经语言模型提取输入的嵌入，学习嵌入空间中的线性模型来构建最终模型（称为 Emb-GAM），实现了透明的、线性的功能和特征交互，并能很好地泛化到新输入。通过各种自然语言处理数据集的实验，Emb-GAM 在不牺牲可解释性的情况下实现了强大的预测性能。

    Sep, 2022

  • 稀疏加性模型

    本文介绍了一种新的高维非参数回归和分类方法 —— 稀疏加性模型（SpAM）。该方法将稀疏线性建模和加性非参数回归的思想结合起来，可以处理样本量小于协变量数的情况，并且能够使用任意非参数平滑器。实验结果证明，该方法能够有效地拟合高维数据中的稀疏非参数模型。

    Nov, 2007

  • CAT: 可解释的基于概念的 Taylor 叠加模型

    CAT 是一种新颖的可解释的基于概念的 Taylor 加性模型，通过将输入特征简单地归类为广泛的组别，无需领域专家标注概念和其真实值，从而在多个基准测试中证明了其超过或与基准方法竞争的性能，同时减少对大量模型参数的需求，并能够通过人类可以理解的高级概念解释模型预测。

    Jun, 2024

  • 重新思考对数几率：线性概率建模与可解释的机器学习中的专家建议

    本研究提出了一系列可解释的机器学习模型，包括使用 Linearised Additive Models 和 SubscaleHedge 算法的 GAMs，并通过对广泛的金融建模数据进行严格的假设检验，表明这些算法在 ROC-AUC 和校准方面没有明显的性能下降。

    Nov, 2022