Jun, 2024

nn2poly：将神经网络转换为可解释的多项式的 R 包

PDF
TL;DR通过多项式表示预测与原网络等效的方式，解释和解读前馈神经网络的 NN2Poly 方法提供了在 R 中的实现。通过获得的多项式系数，可以表示每个变量及其对输出的相互作用的效果和重要性。
nn2polyneural networkspolynomial representationsinterpretationexplainable artificial intelligence (xai)
发现论文，激发创造
  • 多项式回归作为神经网络的替代方案

    神经网络与多项式回归模型之间有着松散的对应关系，通过揭示这一关系，我们可以在避免诸如设置大量调整参数和处理收敛问题等神经网络的重要问题的同时，选择使用多项式模型。

    Jun, 2018

  • 基于神经网络多项式逼近函数的代数框架研究

    我们介绍了神经网络对象并扩展了已有的神经网络微积分，目的是证明神经网络多项式、神经网络指数、正弦和余弦确实能够近似其实数对应物，以某些参数 q 和 ε 发生限制。此外，我们还表明参数和深度的增长仅对所需精度（在实数域上定义的 1 - 范数差异）是多项式的，从而证明这种逼近方法中，神经网络在某种程度上具有其所逼近函数的结构特性并非完全无法处理。

    Feb, 2024

  • 阶梯多项式神经网络

    本文介绍了一种基于乘积构建出的新型激活函数的多项式前向神经网络，其可以被标准训练技术（如批量归一化和丢弃）所训练，并且在回归和分类任务上表现良好，同时具有一些在贝叶斯学习中非常有用的解析计算数量。

    Jun, 2021

  • 学习和泛化模拟元建模中的多项式

    通过收集和提出乘性神经网络 (MNN) 的架构作为递归构建块，本文在多项式时间步更新领域进行了模拟元模型的研究，实验证明了 MNN 在泛化能力上优于基准模型，并针对流行病学模拟模型展示了 MNN 的归纳偏差，即学习和泛化高阶多项式。

    Jul, 2023

  • 多项式神经网络的几何

    研究使用单项式激活函数的多项式神经网络 (PNNs) 的表达能力和学习过程。探讨了使用代数几何工具对某些神经流形进行研究：给出了半代数集的显式描述，并表征了其 Zariski 闭包，称之为神经多样性。研究了神经多样性的维度，并将一个代数度量，即学习度，与神经多样性相关联。维度用作网络表达能力的几何度量，学习度用作训练网络的复杂度度量，并提供了可学习函数数量的上限。这些理论结果与实验证明相伴。

    Feb, 2024

  • 深度多项式神经网络的表达能力

    通过研究多项式激活的深度神经网络，我们提出了 “维度” 作为多项式神经网络表现力的度量标准，并探讨了它受体系结构影响的理论结果。同时，我们还将我们的研究与有利的优化性质联系起来，以及与张量和多项式分解等领域产生了有趣的关联。

    May, 2019

  • 多项式网络正则化在图像识别中的应用

    本文介绍了一种新型的 Polynomial Networks，使用强正则化方法使其能够在 6 个基准测试中达到与 ResNet 相似的性能，同时更加参数高效且不需要元素激活函数进行训练，旨在探索其正则化方案的具体研究。

    Mar, 2023

  • 可解释的多项式神经普通微分方程

    本研究介绍了使用多项式神经常微分方程（polynomial neural ODE）框架解决神经常微分方程（neural ODE）应用中，解释性和泛化能力问题的方法，并且演示了多项式神经常微分方程在预测能力和符号回归方面的优秀性。

    Aug, 2022

  • 用多项式神经网络增强深度分类器

    本篇研究工作将深度分类器的研究归纳到一个统一的框架下，其中将最先进的架构用不同程度的多项式形式表示，并对其进行了评估，结果表明其在模型性能和模型压缩方面具有高表现性，并且在有限数据和长尾数据分布存在的情况下具有优异的效果。

    Apr, 2021

  • 使用 innsight 包解释深度神经网络

    这篇研究论文介绍了一个名为 innsight 的 R 包，可以用于解释深度神经网络的预测结果，该包不依赖于深度学习库，由于使用了 torch 库，因此运行效率高，并且提供了可视化工具。

    Jun, 2023