通过研究多项式激活的深度神经网络，我们提出了 “维度” 作为多项式神经网络表现力的度量标准，并探讨了它受体系结构影响的理论结果。同时，我们还将我们的研究与有利的优化性质联系起来，以及与张量和多项式分解等领域产生了有趣的关联。

May, 2019

通过引入递归算法，我们生成多项式方程，其共同零点对应于相应神经多丘道的 Zariski 闭包。此外，我们还利用度量代数几何的工具来研究训练这些网络的代数复杂度。我们的研究发现，此类网络的优化中的所有复杂临界点的数量等于 Segre 多样性的一般欧几里得距离度。值得注意的是，这个数量显著超过了具有相同参数数量的全连接线性网络的训练中遇到的关键点数量。

Jan, 2024

图神经网络的表达能力可以完全用合适的一阶逻辑片段来描述。本文通过证明 GC2 查询不能由具有多项式激活函数的图神经网络表示，证明了多项式和流行的非多项式激活函数之间存在分离关系。

Oct, 2023

基于几何 (克利福德) 代数和凸优化，我们介绍了一种新的神经网络分析方法，显示出深度 ReLU 神经网络的最优权重是通过训练样本的外积给出的，并且训练问题可以化简为对外积特征进行凸优化，这些特征编码了训练数据集的几何结构，其中几何结构通过数据向量生成的三角形和平行六面体的符号体积给出。

Sep, 2023

我们提出了一种代数几何框架来研究线性激活神经网络的表达能力。我们在热带几何的环境中工作，利用热带有理映射和前馈神经网络之间的已知连接，构建了一个丰富的研究神经网络的热带几何理论。我们的工作在选择采样域、对具有对称性的网络架构进行引导性采样域限制以及分析神经网络作为热带 Puiseux 有理映射方面做出了贡献。通过一系列概念证明的数值实验，我们展示了热带几何理论可以应用于揭示网络的表达特性的广泛神经网络架构。我们的工作为从计算热带几何和符号计算领域的理论和现有软件转化到深度学习提供了基础。

May, 2024

简单的神经网络使用 ReLU 激活可以在各种维度中产生单元球近似的多面体，其种类受网络体系结构的调节，此发现开创了通过机器学习进行离散几何研究的新领域，同时也可以用于训练网络的可视化。

Jul, 2023

活动函数不同，图神经网络在两层迭代中可以区分两个非同构树的根节点，但是若网络的大小被限制，其区分能力将受到限制。

Jul, 2023

本研究介绍了一种基于图神经网络 (GNN) 计算等变多项式的表达能力层级方法，并提出了一种新的具有更具体指导意义的算法工具来评估 GNN 表达能力。同时，通过增加多项式特征或其他操作 / 聚合的方法，提高了 GNN 架构的表达能力，实现了在多个图形学习基准中的最新结果。

Feb, 2023

本文介绍了一种基于乘积构建出的新型激活函数的多项式前向神经网络，其可以被标准训练技术（如批量归一化和丢弃）所训练，并且在回归和分类任务上表现良好，同时具有一些在贝叶斯学习中非常有用的解析计算数量。

Jun, 2021

本文提出了一种拓展通用图神经网络（GNNs）的 VC 维度分析方法，研究了 GNNs 中常用的激活函数，如 sigmoid 和双曲正切函数，通过 Pfaffian 函数理论框架给出了与架构参数和 1-WL 测试结果相关的界限，理论分析得到了初步实验研究的支持。

Jan, 2024