通过收集和提出乘性神经网络 (MNN) 的架构作为递归构建块,本文在多项式时间步更新领域进行了模拟元模型的研究,实验证明了 MNN 在泛化能力上优于基准模型,并针对流行病学模拟模型展示了 MNN 的归纳偏差,即学习和泛化高阶多项式。
Jul, 2023
通过研究多项式激活的深度神经网络,我们提出了 “维度” 作为多项式神经网络表现力的度量标准,并探讨了它受体系结构影响的理论结果。同时,我们还将我们的研究与有利的优化性质联系起来,以及与张量和多项式分解等领域产生了有趣的关联。
May, 2019
神经网络与多项式回归模型之间有着松散的对应关系,通过揭示这一关系,我们可以在避免诸如设置大量调整参数和处理收敛问题等神经网络的重要问题的同时,选择使用多项式模型。
Jun, 2018
提出了一种仅依赖于多线性操作、名为 Mu-Layer 的核心层的模型 MONet,在图像识别和科学计算基准测试中表现优异,超越了之前的多项式网络,并与现代架构相当,有望激发进一步研究纯粹使用多线性操作的模型。
Jan, 2024
神经元、前馈神经网络、激活函数、插值、插值能力
May, 2024
我们介绍了神经网络对象并扩展了已有的神经网络微积分,目的是证明神经网络多项式、神经网络指数、正弦和余弦确实能够近似其实数对应物,以某些参数 q 和 ε 发生限制。此外,我们还表明参数和深度的增长仅对所需精度(在实数域上定义的 1 - 范数差异)是多项式的,从而证明这种逼近方法中,神经网络在某种程度上具有其所逼近函数的结构特性并非完全无法处理。
Feb, 2024
研究使用单项式激活函数的多项式神经网络 (PNNs) 的表达能力和学习过程。探讨了使用代数几何工具对某些神经流形进行研究:给出了半代数集的显式描述,并表征了其 Zariski 闭包,称之为神经多样性。研究了神经多样性的维度,并将一个代数度量,即学习度,与神经多样性相关联。维度用作网络表达能力的几何度量,学习度用作训练网络的复杂度度量,并提供了可学习函数数量的上限。这些理论结果与实验证明相伴。
本篇论文调查了如何通过多面体理论以及线性规划技术对神经网络进行训练、验证和缩小规模,并概述了深度学习和神经网络中使用的关键词,如 ReLU(线性修正单元)等。
Apr, 2023
采用深度神经网络和 ReLU 激活函数,本研究证明能够在任意维度的分形网格上表示 Lagrange 有限元函数。通过引入基函数的新型全局公式,基于几何分解和高维分形网格及质心坐标函数的两个关键性质,该表示理论为这些深度神经网络的自然近似结果提供了便利。研究结果首次证明了深度神经网络如何系统地生成一般的连续分段多项式函数。
Dec, 2023
提出了用于学习高维多项式变换高斯函数的算法,同时探讨了该算法在深度生成模型中的作用,同时还给出了可证实保证的分解高维张量算法
Apr, 2022