离散神经网络与多态学习
研究使用单项式激活函数的多项式神经网络 (PNNs) 的表达能力和学习过程。探讨了使用代数几何工具对某些神经流形进行研究：给出了半代数集的显式描述，并表征了其 Zariski 闭包，称之为神经多样性。研究了神经多样性的维度，并将一个代数度量，即学习度，与神经多样性相关联。维度用作网络表达能力的几何度量，学习度用作训练网络的复杂度度量，并提供了可学习函数数量的上限。这些理论结果与实验证明相伴。
Feb, 2024
神经网络对模块化算术任务的学习受限，无法很好地进行推广；然而，在文献中已知有一种多层感知机（MLP）网络权重的解析解适用于模块化加法任务，本文将这种解析解的类别扩展到包括模块化乘法和具有多个项的模块化加法。此外，我们展示出在这些数据集上经过训练的真实网络通过泛化（理解）学习类似的解，我们结合这些 “专家” 解来构建在任意模块化多项式上具有推广性的网络，并猜测通过神经网络训练的模块化多项式可被分类为可学习和不可学习，并提供了支持我们观点的实验证据。
Jun, 2024
简单的神经网络使用 ReLU 激活可以在各种维度中产生单元球近似的多面体，其种类受网络体系结构的调节，此发现开创了通过机器学习进行离散几何研究的新领域，同时也可以用于训练网络的可视化。
Jul, 2023
通过分析高度表达力模型的基本结构元素，我们引入了一个表达力类别的层次结构，将全局可近似性属性与无限 VC 维度的弱属性相连接，并证明了几个逐渐复杂的功能族的分类结果。特别地，我们介绍了一个通用的多项式 - 指数 - 代数功能族，经证明它受到了多项式约束。作为结果，我们表明具有不超过一层具有超越激活函数（如正弦或标准 sigmoid）的固定大小的神经网络通常无法近似任意有限集上的函数。另一方面，我们提供了包括两层隐藏层神经网络在内的函数族的示例，它们在任意有限集上可近似函数，但在整个定义域上却无法做到。
Nov, 2023
通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。
Aug, 2023
我们介绍了神经网络对象并扩展了已有的神经网络微积分，目的是证明神经网络多项式、神经网络指数、正弦和余弦确实能够近似其实数对应物，以某些参数 q 和 ε 发生限制。此外，我们还表明参数和深度的增长仅对所需精度（在实数域上定义的 1 - 范数差异）是多项式的，从而证明这种逼近方法中，神经网络在某种程度上具有其所逼近函数的结构特性并非完全无法处理。
Feb, 2024
本篇论文调查了如何通过多面体理论以及线性规划技术对神经网络进行训练、验证和缩小规模，并概述了深度学习和神经网络中使用的关键词，如 ReLU（线性修正单元）等。
Apr, 2023