介绍了两种新的激活函数，Cone 和 Parabolic-Cone，相较于常用的 ReLU 和 Sigmoidal 类激活函数，在 CIFAR-10 和 Imagenette 两个基准测试中明显表现更好。这些激活函数在有限区间内为正，且在区间的端点处变为零，使得神经元可以更精细地将输入特征空间划分为正类和负类，通过较少的超带学习 XOR 函数，并且在基准测试中达到更高的准确率。此研究表明，在许多非线性真实世界的数据集中，相较于半空间，较少的超带可以实现数据的分离，并且 Cone 和 Parabolic-Cone 激活函数具有更大的导数，加速了训练过程。

May, 2024

本文提出了基于半定规划的二层神经网络的精确凸优化公式，可在多种神经网络体系结构中实现全局最优解，相比标准反向传播方法速度更快且准确性更高。

Jan, 2021

考虑一个由两个凸分段线性函数差值定义的二元分类器，其中 ReLU 神经网络的参数空间包含在热带有理函数的参数空间中，我们将该参数空间划分为两个不同的子集：一个由半代数集组成，其决策边界的组合类型固定；一个由多面体扇形组成，捕捉了数据集分割的组合数学。0/1 损失函数的亚水平集是分类扇形的子扇，我们证明亚水平集不一定是连通的。我们从几何学上描述了分类扇形，作为激活多面体的法向扇形，从组合学上通过关联的二分图列表描述了该扇形，类似于有向拓扑和热带有向拓扑的对偶向量公理。我们的发现通过观察在实际热带几何中建立的结构扩展和改进了神经网络与热带几何之间的联系，如超曲面的正热带化和热带半代数集。

Mar, 2024

本文研究了使用线性阈值激活函数的神经网络，探究了这种类型的函数可以被表示的范围，证明了用两层隐藏层可以表示任何在这个范围内的函数。同时提出了一种算法，用于解决这种类型神经网络的经验风险最小化问题，可以在多项式时间内进行。基于这些研究发现，我们提出了一种新型神经网络 —— 快捷线性阈值网络。

Nov, 2021

引入了一类具有多层树状结构的深度神经网络 (DNN)，使用无穷非阿基米德局部域的整数环中的数字进行编码。这些环以无限根树的方式具有自然的分层组织。在这些环上的自然态射使我们能够构建有限的多层架构。新的 DNN 是对所提到的环上定义的实值函数的稳健逼近器。我们还表明这些 DNN 也是在单位区间上定义的实值平方可积函数的稳健逼近器。

Jan, 2024

提出了一种新的神经网络模型 —— 正弦表示网络，可以用于处理带有细节特征的复杂信号及其导数，可以解决泊松方程、赫姆霍兹方程、波动方程等各种边界值问题，并且可以通过超网络学习 Siren 函数的先验知识。

Jun, 2020

研究使用单项式激活函数的多项式神经网络 (PNNs) 的表达能力和学习过程。探讨了使用代数几何工具对某些神经流形进行研究：给出了半代数集的显式描述，并表征了其 Zariski 闭包，称之为神经多样性。研究了神经多样性的维度，并将一个代数度量，即学习度，与神经多样性相关联。维度用作网络表达能力的几何度量，学习度用作训练网络的复杂度度量，并提供了可学习函数数量的上限。这些理论结果与实验证明相伴。

Feb, 2024

本研究介绍了神经算子，它是一种学习算子的新型神经网络，能够在无限维函数空间中进行映射。我们证明了神经算子的广义逼近定理，可以逼近任何连续非线性算子。研究还提出了四类高效的参数化方法，并在偏微分方程的解算子的代理映射中应用了神经算子，结果表明相较于传统 PDE 求解器和现有的机器学习方法，神经算子具有更好的性能优势且速度更快。

Aug, 2021

本文研究了运算符学习及其在神经网络中的应用，讨论了学习的运算符是单射和满射的情况，得出了一些充分条件。文章证明了所提供的单射神经运算符是通用逼近器，其有限秩神经网络实现仍然是单射的，最后还考虑了子网络的单射和满射性及其在贝叶斯不确定性和反问题中的应用。

Jun, 2023

利用量子计算机实现任意解析激活函数的量子算法填补了量子感知机领域的空白，使得任何前馈神经网络都能获得 Hornik 定理的通用逼近性质，从而使得机器学习、模式识别和聚类等问题更易于解决。

Jan, 2022