使用符号回归梯度解释神经网络分类器的封闭形式

Jan, 2024

使用符号回归梯度解释神经网络分类器的封闭形式

Closed-Form Interpretation of Neural Network Classifiers with Symbolic Regression Gradients

Sebastian Johann Wetzel

TL;DR基于统一框架，我提出了一种解释神经网络分类器的方法，该方法旨在自动化科学发现，通过将训练好的神经网络嵌入到一组基于相同数量的分类函数的等价类中，并通过搜索符号回归的搜索空间定义的人类可读方程与该等价类之间的交集来解释神经网络。

Abstract

I introduce a unified framework for interpreting neural network classifiers tailored toward automated scientific discovery. In contrast to neural network-based regression, for classification, it is in general imp

neural network classifiers automated scientific discovery symbolic equation equivalence class interpretation of neural networks

发现论文，激发创造

深度符号回归：通过寻求风险策略梯度从数据中恢复数学表达式

提出了利用深度学习解决符号回归的框架，该框架使用循环神经网络生成数学表达式分布，并使用新颖的风险寻求策略梯度来训练网络生成更好的拟合表达式。该算法在一系列基准问题中表现优于几种基准方法，包括符号回归的黄金标准 Eureqa。

Dec, 2019

可扩展神经符号回归

本研究介绍了第一种使用大规模预训练的符号回归方法，通过生成一组不受限方程式并使用 Transformer 预测输入输出对应的符号方程，提高了方程式发现的效率和准确性。

Jun, 2021

符号回归在可解释科学探究中的应用：评述

本文综述了符号回归方法的优缺点，探讨了其在机器学习、深度学习等应用领域中以数据驱动的模型发现方法所取得的显著进展。

Nov, 2022

可控神经符号回归

本篇论文提出一种名为 NSRwH 的神经符号回归方法，能够结合用户给定的领域知识，实现精确预测表达式的结构，并在实验中表现出良好的准确性。

Apr, 2023

回归即分类：任务形式对神经网络特征的影响

研究神经网络对回归问题的解决方法，针对两层 ReLU 网络探索了梯度优化引起偏差的一些现象，提出了一种新的支持度计算方法，得出实验证据，阐述了广义梯度下降和平方损失函数在训练中的优化困难。

Nov, 2022

符号回归的最新算法与遗传规划的比较

我们对新兴的符号回归系统进行测试，使用端到端的转换器模型与基于遗传编程的传统方法进行比较，结果表明传统的遗传编程方法仍然优于最近发表的两种符号回归方法。

Jun, 2024

深度生成符号回归

通过利用预训练的深度生成模型来捕捉方程的内在规律，本研究提出了深度生成符号回归（DGSR）框架，实现了具有更高恢复率和更高计算效率的符号回归解决方案。

Dec, 2023

SymbolNet: 自适应动态修剪的神经符号回归

基于神经网络的符号回归方法中引入了动态修剪，用于同时优化训练损失和表达复杂度，通过稀疏正则化适应性地调整修剪类型的目标稀疏度，并在多个数据集上证明了其有效性。

Jan, 2024

外推和学习方程

该研究提出了一种名为等式学习器（EQL）的新型函数学习网络，可以学习解析表达式，并能够外推到未知的领域。通过稀疏正则化可以得到简洁明了的可解释表达式，可用于高效的基于梯度的训练。

Oct, 2016

类符号回归：全都要拟合

引入 “类别符号回归”—— 一个首个框架，能够自动找到一个准确适用于多个数据集（每个数据集都由其可能独特的拟合参数集）的单一分析函数形式。通过应用于一系列合成玩具案例数据集，我们展示了这种新颖方法的有效性，并成功从模拟轨道（近似恒星流）的集合中提取出一个解析星系势能，展示了其在天体物理学中的实用性。

Dec, 2023