May, 2023

拉普拉斯 - 近似神经加性模型：结合贝叶斯推理提高可解释性

PDF
TL;DR本文从贝叶斯角度探讨神经相加模型，并开发了实用的拉普拉斯近似方法。研究结果表明，使用该方法得到的神经相加模型可以提高表格回归和分类数据集以及现实世界医学任务的性能和解释性。
neural additive modellaplace approximationinterpretabilityfeature interactionsbayesian perspective
发现论文，激发创造
  • 神经加性模型：利用神经网络进行可解释的机器学习

    由于深度神经网络在高风险领域应用时存在的不透明性，本文提出了一种名为神经添加模型（NAMs）的方法，将神经网络的表现力和广义可加模型的内在可解释性结合起来，令其在高风险领域有更好的应用前景，同时 NAMs 表现出了良好的性能，其可用于多任务学习及建立更复杂可解释的 COVID-19 模型。

    Apr, 2020

  • 高斯过程神经附加模型

    神经外包模型（NAMs）的发展标志着可解释的深度学习在表格数据集上的重要进展，我们提出了一种新的 NAMs 子类 —— 通过随机傅立叶特征的高斯过程的单层神经网络结构，称为高斯处理神经外加模型（GP-NAM），它具有凸优化函数和可训练参数数量与特征维度成线性关系的优势，并证明了它在多个表格数据集上实现了与更深层次 NAM 方法相当甚至更好的性能。

    Feb, 2024

  • 神经加性模型用于实时预测

    应用神经加法模型 (NAMs) 研究多变量预测问题，使用广义加法模型为每个输入变量提供解释性并且能够成功地对多元时间序列数据进行预测。

    May, 2022

  • 可解释需求预测的分层神经附加模型

    通过引入层次神经加法模型（HNAM），本研究解决了机器学习预测方法准确性高但解释性差的问题。HNAM 是一种针对时间序列的加法模型，允许根据用户指定的交互层次来进行协变量交互。通过对真实世界的零售数据进行广泛评估并与其他最先进的机器学习和统计模型进行比较，实验结果表明，HNAM 不仅具备竞争性的预测性能，还能提供可信的解释。

    Apr, 2024

  • Laplace 近似下的可学习不确定性

    本文提出一种方法来训练拉普拉斯逼近神经网络中的不确定性，介绍了用于拉普拉斯逼近网络的不确定性单元，并通过不确定性感知目标来训练这些单元，以提高在不同不确定性量化任务中的性能表现。

    Oct, 2020

  • 混合拉普拉斯逼近以改善深度学习后验不确定性

    本文介绍了一种基于高斯混合模型后验的预测方法，通过对独立训练的深度神经网络的拉普拉斯近似加权求和，可以缓解深度神经网络对离群值的过于自信预测问题，并在标准不确定性量化基准测试中与最先进的基准进行了比较。

    Nov, 2021

  • 基于子网络推断的贝叶斯深度学习

    本文介绍一种基于子网络推断框架和线性 Laplace 逼近的贝叶斯深度学习方法，用于提高深度神经网络的预测精度和有效性。在子网络中推断出如此表达力强大的后验逼近，该方法得以比全网络的后验逼近和 Ensembles 方法实现更好的效果。

    Oct, 2020

  • 深度学习模型解释 - 一种贝叶斯非参数方法

    本研究提出了一种新的技术方法，将贝叶斯非参数回归混合模型与多个弹性网络相结合，从而提取目标模型的可推广见解。通过在图像识别的上下文中对不同的机器学习模型进行评估，实验结果表明，我们提出的方法不仅在解释个别决策方面优于现有技术，而且为用户提供了发现目标机器学习模型漏洞的能力。

    Nov, 2018

  • 基于加法指数模型的可解释神经网络

    本文介绍了可解释化神经网络 (Explainable Neural Network，xNN)，它是一种结构化的神经网络，设计特别用于学习可解释的特征。与全连接神经网络不同，xNN 工程化的特征可以相对简单地从网络中提取出来并展示。同时，在适当的正则化下，xNN 提供了关于特征和输出之间关系的精炼解释。我们在模拟实例上展示了这种可解释特征工程化的性质。

    Jun, 2018

  • 贝叶斯深度学习的加速线性化拉普拉斯近似

    通过开发一种 Nystrom 近似方法来加速线性化变种 (Laplace Approximation) 和神经切向核 (NTKs) 之间的联系，以解决 Bayesian 神经网络中的非常规低效率问题。该方法通过自动区分前向模式来实现，具有可靠的理论保证，并在规模性和性能方面表现出许多优点。

    Oct, 2022