GINN-LP: 发现多元洛朗多项式方程的可扩展可解释神经网络

Dec, 2023

GINN-LP: 发现多元洛朗多项式方程的可扩展可解释神经网络

GINN-LP: A Growing Interpretable Neural Network for Discovering Multivariate Laurent Polynomial Equations

Nisal Ranasinghe, Damith Senanayake, Sachith Seneviratne, Malin Premaratne, Saman Halgamuge

TL;DR提出了 GINN-LP，这是一个可解释的神经网络，用于发现数据集的潜在方程的形式和系数，该方程被假设为多变量劳伦多多项式的形式。通过一种新类型的可解释神经网络块，名为 “幂项逼近块”，由对数和指数激活函数组成，为此提供了便利。在符号回归的基准数据集 SRBench 的子集上对我们的方法进行了评估，证明了我们方法在多变量劳伦多多项式形式的 48 个真实方程生成的数据集上优于现有的符号回归方法。然后，提出了一种将我们的方法与高性能符号回归方法相结合的集成方法，使我们能够发现非劳伦多多项式方程，通过将这种集成方法应用于 SRBench 中的 113 个已知基准方程数据集，取得了在方程发现方面的最新成果，相比最佳竞争者，有 7.1% 的绝对改进。

Abstract

Traditional machine learning is generally treated as a black-box optimization problem and does not typically produce interpretable functions that connect inputs and outputs. However, the ability to discover such interpretable functions is desirable. In this work, we propose GINN-LP, an interpretable neural network to discover the form and coefficients of the

interpretable neural network multivariate laurent polynomial equation discovery symbolic regression ensemble method

发现论文，激发创造

几何感知神经网络

提出了几何信息神经网络（GINN）的概念，该网络涵盖了在几何约束下的学习、神经场作为合适的表示以及在几何任务中遇到的欠定系统的多样化解决方案生成。 GINN 公式不需要训练数据，并且可以被认为是完全由约束驱动的生成建模。将显式多样性损失添加到减轻模式崩溃。考虑到几何成分的连通性等多种约束，并通过莫尔斯理论将其转化为可微的损失。通过实验证明了 GINN 学习范式在二维和三维场景中的有效性，场景复杂性逐渐增加。

Feb, 2024

基于符号回归与扩展物理 - 启发式神经网络的框架，用于从数据中学习方程的灰盒子动力学

该研究提出了一种基于 X-PINNs 和符号回归的方法，通过数据识别非线性方程中的未知部分，并在面对实际数据中的噪声和数据不足的情况下表现良好。

May, 2023

学习黑盒外：可解释模型的追求

该论文提出了一种使用 Meijer G 函数的黑盒函数连续全局解释算法来解决机器学习模型可解释性问题，通过实验结果证明该算法可以高度准确地表示特征和特征交互的相对重要性。

Nov, 2020

光谱偏差和内核任务对齐在物理信息神经网络中的应用

物理信息神经网络是一种有效求解偏微分方程的新方法，通过理论框架将其与高斯过程回归等价，并推导出由其架构选择所引起的核项来增强其预测能力，并通过源项的谱分解量化其隐含偏差

Jul, 2023

图神经网络在 (混合整数) 二次规划中的表达能力

用连续和混合整数设置的情况下，我们研究了图神经网络在二次规划任务中的表达或代表能力，证明了存在可靠地表示二次规划关键属性的消息传递图神经网络，并通过数值结果验证了我们的理论。

Jun, 2024

使用和积网络学习深层高斯过程专家混合模型

本文介绍通过将高斯过程嵌入可计算的和积网络中，实现灵活的先验函数分布，从而实现计算和内存高效、容易实施后验推理的概率回归模型。

Sep, 2018

基于灰色信息的神经网络时间序列预测

本研究提出了一种灰色信息驱动的神经网络模型（GINN），使神经网络的输出遵循灰色系统的微分方程模型，提高解释性。此模型结合了灰色系统理论的先验知识，能够有效处理少量数据样本，发现真实世界中的潜在模式并基于经验数据产生可靠的预测。

Mar, 2024

通过局部线性化改进贝叶斯神经网络的预测

本文提出了一种基于广义高斯牛顿近似方法的贝叶斯神经网络预测方法，将原始预测模型线性化为广义线性模型（GLM）后，用于后验推理和预测中，解决了拉普拉斯近似方法下的欠拟合问题。在多个标准分类数据集上以及外部分布检测中得到了验证。

Aug, 2020

利用神经多项式方法启用符号回归发现可解释的弹塑性模型

传统的神经网络弹塑性模型缺乏可解释性，本文提出了一个两步机器学习方法，通过符号回归将单变量特征映射转化为可解释的数学模型，从而克服了符号回归算法的缩放问题，并能实现材料属性的自动推导和推理，提高模型的可移植性和人工专家的理解能力。

Jul, 2023

通过多项式实现可扩展的可解释性

提出了一种新的分类 GAMs 的方法，称为 Scalable Polynomial Additive Models (SPAM)，通过多项式的张量秩分解来实现高阶特征交互，同时保证模型的可解释性和易扩展性，大幅度地优于现有的可解释方案，并在真实世界的各种基准测试中表现出与 DNN / XGBoost 相当的性能。

May, 2022