本文介绍了一种基于乘积构建出的新型激活函数的多项式前向神经网络，其可以被标准训练技术（如批量归一化和丢弃）所训练，并且在回归和分类任务上表现良好，同时具有一些在贝叶斯学习中非常有用的解析计算数量。
Jun, 2021
本文介绍了一种新型的 Polynomial Networks，使用强正则化方法使其能够在 6 个基准测试中达到与 ResNet 相似的性能，同时更加参数高效且不需要元素激活函数进行训练，旨在探索其正则化方案的具体研究。
Mar, 2023
通过研究多项式激活的深度神经网络，我们提出了 “维度” 作为多项式神经网络表现力的度量标准，并探讨了它受体系结构影响的理论结果。同时，我们还将我们的研究与有利的优化性质联系起来，以及与张量和多项式分解等领域产生了有趣的关联。
May, 2019
本文首次研究了基于神经网络的多输入算子回归问题，并证明了连续多输入算子的通用逼近定理。基于此，结合低秩分解，提出了一个新的神经算子 MIONet，可应用于求解由常微分方程和偏微分方程控制的系统。同时研究了提高神经算子精度的方法，如先验知识的引入。
Feb, 2022
本篇论文调查了如何通过多面体理论以及线性规划技术对神经网络进行训练、验证和缩小规模，并概述了深度学习和神经网络中使用的关键词，如 ReLU（线性修正单元）等。
Apr, 2023
本研究提出了使用矩阵积算子 (MPO) 来代替线性变换表示深度神经网络的方法，该方法可以最大限度地减少可变参数数量而不影响其预测能力，并在多个典型的神经网络上证明了其有效性和高效性。
Apr, 2019
神经网络对模块化算术任务的学习受限，无法很好地进行推广；然而，在文献中已知有一种多层感知机（MLP）网络权重的解析解适用于模块化加法任务，本文将这种解析解的类别扩展到包括模块化乘法和具有多个项的模块化加法。此外，我们展示出在这些数据集上经过训练的真实网络通过泛化（理解）学习类似的解，我们结合这些 “专家” 解来构建在任意模块化多项式上具有推广性的网络，并猜测通过神经网络训练的模块化多项式可被分类为可学习和不可学习，并提供了支持我们观点的实验证据。
Jun, 2024
本文提出了一种基于多项式扩展的新型函数逼近器 ——π- 网，它是多项式神经网络，通过具有共享因子的张量集合分解来估计自然表示的未知参数，可用于许多任务和信号的表达建模，并在激活函数的辅助下在图像生成、人脸验证和 3D 网格表示学习等任务中实现了最新的结果。
Jun, 2020
本篇研究工作将深度分类器的研究归纳到一个统一的框架下，其中将最先进的架构用不同程度的多项式形式表示，并对其进行了评估，结果表明其在模型性能和模型压缩方面具有高表现性，并且在有限数据和长尾数据分布存在的情况下具有优异的效果。
Apr, 2021
本文提出了一种基于 Bernstein 多项式的神经网络激活函数 DeepBern-Nets，并设计了新算法 Bern-IBP，用于更有效地计算其输出的紧密界限。实验表明，基于 Bernstein 多项式的激活函数可提高神经网络的证明过程，并在对抗性训练中取得了较高的证明准确性。
May, 2023