通过引入高阶人工神经元，本论文介绍了具有增强的学习能力的二次神经元、解决 XOR 问题的方法以及应用于前向神经网络的全矢量化方程。与隐藏层神经元数量相比，仅利用一层二次神经元可以使网络在更少的隐藏层神经元的情况下实现更高的准确性，从而在基准分类数据集上取得了显著的成果。

Oct, 2023

本文提出了一种高效的二次神经元结构，能够提高卷积神经网络的表现，并在分类任务中实现了更高的精度和更好的计算效率。

Jun, 2023

通过引入功能规则化到损失函数中，基于二阶总变差准则，提出了一种可以用于通信、编码和学习的深度神经网络优化方法；同时，通过使用自适应节点的非均匀线性样条，可以实现每个神经元的动作编码。

Feb, 2018

将生物神经元属性纳入人工神经网络以增强计算能力是机器学习领域中面临的重大挑战，我们提出了一种新颖的人工神经网络模型 DIQNN (Dendritic Integration-Based Quadratic Neural Network)，该模型在各种分类任务中表现出优于传统人工神经网络的性能。为了降低 DIQNN 的计算成本，我们介绍了一种低秩 DIQNN，发现它可以保持原始 DIQNN 的性能。我们进一步提出一个边界来描述泛化误差，并在理论上证明该边界在训练过程中会单调增加。我们通过数值实验展示了泛化性和我们的边界之间的一致性。最后，通过将该边界整合到损失函数中，我们的实验结果证明了测试精度的变化确实得到了加速。我们的工作提供了一种新颖的、受大脑启发的人工神经网络模型，优于传统人工神经网络，并提供了分析分类任务中泛化误差的理论框架。

May, 2023

用连续和混合整数设置的情况下，我们研究了图神经网络在二次规划任务中的表达或代表能力，证明了存在可靠地表示二次规划关键属性的消息传递图神经网络，并通过数值结果验证了我们的理论。

Jun, 2024

本文提出了一种新的神经网络表达性问题的方法，其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出：（1）计算的函数复杂度随深度指数增长；（2）所有权重不同，加上轨迹正则化是批标准化的一个更简单的选择，但表现相同。

Jun, 2016

我们提出了一种代数几何框架来研究线性激活神经网络的表达能力。我们在热带几何的环境中工作，利用热带有理映射和前馈神经网络之间的已知连接，构建了一个丰富的研究神经网络的热带几何理论。我们的工作在选择采样域、对具有对称性的网络架构进行引导性采样域限制以及分析神经网络作为热带 Puiseux 有理映射方面做出了贡献。通过一系列概念证明的数值实验，我们展示了热带几何理论可以应用于揭示网络的表达特性的广泛神经网络架构。我们的工作为从计算热带几何和符号计算领域的理论和现有软件转化到深度学习提供了基础。

May, 2024

通过研究多项式激活的深度神经网络，我们提出了 “维度” 作为多项式神经网络表现力的度量标准，并探讨了它受体系结构影响的理论结果。同时，我们还将我们的研究与有利的优化性质联系起来，以及与张量和多项式分解等领域产生了有趣的关联。

May, 2019

本文研究了神经网络学习中超参数化的有效性，提出了一种使用局部搜索算法寻找全局最优解的方法，并使用 Rademacher 复杂性理论证明了在权重衰减的情况下，解决方案在数据采样自正态分布等正则分布的情况下也能很好地推广，同时还分析了具有二次激活函数和 n 个训练数据点的 k 个隐藏节点浅层网络的本质性质。

Mar, 2018

介绍了一种利用二次神经网络创建高阶学习模型的新框架 QuadraNet V2，通过利用预训练的权重来减少训练所需 GPU 时间，同时提高了信息表征能力。

May, 2024