多项式回归作为神经网络的替代方案

Jun, 2018

多项式回归作为神经网络的替代方案

Polynomial Regression As an Alternative to Neural Nets

Xi Cheng, Bohdan Khomtchouk, Norman Matloff, Pete Mohanty

TL;DR神经网络与多项式回归模型之间有着松散的对应关系，通过揭示这一关系，我们可以在避免诸如设置大量调整参数和处理收敛问题等神经网络的重要问题的同时，选择使用多项式模型。

Abstract

Despite the success of neural networks (NNs), there is still a concern among many over their "black box" nature. Why do they work? Here we present a simple analytic argument that NNs are in fact essentially polynomial regression models. This view will have various implications for NNs,

neural networks polynomial regression models convergence problems overfitting multicollinearity property

发现论文，激发创造

阶梯多项式神经网络

本文介绍了一种基于乘积构建出的新型激活函数的多项式前向神经网络，其可以被标准训练技术（如批量归一化和丢弃）所训练，并且在回归和分类任务上表现良好，同时具有一些在贝叶斯学习中非常有用的解析计算数量。

Jun, 2021

神经网络逼近

该篇论文调查了神经网络的近似性质，特别是使用 ReLU 激活函数的非线性流形，并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异，着重分析了数值稳定性问题，发现在一定程度上提高了近似能力，但以数值稳定性为代价。

Dec, 2020

一种针对线性神经网络的新阐释

线性回归和神经网络广泛用于建模数据。我们提出的研究中，通过对 LNN 的优化分析和与线性回归在合成噪声数据集上的性能比较，证明了没有激活函数的神经网络在训练和测试性能方面都会降低。

Dec, 2023

低精度多项式逼近的神经网络：提高准确性的新见解与技术

通过使用多项式逼近替换神经网络中的非多项式函数，并结合高精确逼近，本论文提出的多项式逼近神经网络（PANN）在实现隐私保护模型推理时与底层骨干模型具有类似的推理准确性。此外，通过对 PANN 的独立性进行调查，论文提出了提高 PANN 推理准确度的解决方案，并通过实验证明了解决方案的有效性。

Feb, 2024

多项式网络正则化在图像识别中的应用

本文介绍了一种新型的 Polynomial Networks，使用强正则化方法使其能够在 6 个基准测试中达到与 ResNet 相似的性能，同时更加参数高效且不需要元素激活函数进行训练，旨在探索其正则化方案的具体研究。

Mar, 2023

学习和泛化模拟元建模中的多项式

通过收集和提出乘性神经网络 (MNN) 的架构作为递归构建块，本文在多项式时间步更新领域进行了模拟元模型的研究，实验证明了 MNN 在泛化能力上优于基准模型，并针对流行病学模拟模型展示了 MNN 的归纳偏差，即学习和泛化高阶多项式。

Jul, 2023

基于神经网络多项式逼近函数的代数框架研究

我们介绍了神经网络对象并扩展了已有的神经网络微积分，目的是证明神经网络多项式、神经网络指数、正弦和余弦确实能够近似其实数对应物，以某些参数 q 和 ε 发生限制。此外，我们还表明参数和深度的增长仅对所需精度（在实数域上定义的 1 - 范数差异）是多项式的，从而证明这种逼近方法中，神经网络在某种程度上具有其所逼近函数的结构特性并非完全无法处理。

Feb, 2024

张量神经网络在回归问题中的高效方法

引入张量神经网络（TNN）来处理非参数回归问题，通过其独特的子网络结构，有效地促进变量分离，从而提高复杂未知函数的近似性；与传统的前馈网络（FFN）和径向基网络（RBN）相比，TNN 在近似准确性和泛化能力方面表现优异，尽管参数规模相似；我们的方法的一个关键创新是将统计回归和数值积分集成到 TNN 框架中，从而实现了与回归函数相关的高维积分的高效计算；此进展的意义扩展到更广泛的应用领域，特别是在需要精确高维数据分析和预测的场景。

Jun, 2024

使用线性回归迭代训练神经网络

本文提出了一种基于线性回归的方法来学习神经网络的权重和偏置，与标准的基于梯度的反向传播相比更为快速、稳定，但仅限于简单前馈神经网络、标量回归问题和可逆激活函数。

Jul, 2023

高维非参数回归和分类的稀疏输入神经网络

该论文提出了使用稀疏组套索惩罚来适应神经网络以解决非参数高维问题，其中真实功能位于低维子空间中，并对统计收敛性进行了表征。

Nov, 2017