- 关于近似 ReLU 神经网络参数的增长
对于具有最先进的逼近误差的 ReLU 结构，本研究的主要结果是其实现参数的增长至多是多项式的，与现有结果相比，在大多数情况下，特别是对于高维输入，该增长率优于现有结果。
- 单变量 ReLU 网络中稳定的极小值无法过拟合：大步长的泛化
我们研究了具有噪声标签的一元非参数回归问题中两层 ReLU 神经网络的泛化。我们提出了一种新的局部极小值泛化理论，证明了梯度下降算法在常数学习率下能稳定收敛至该极小值。我们证明了在合理的假设下，梯度下降算法可以找到表示平滑函数的局部极小值， - 路径度量、剪枝和泛化
证明了一种新的与参数路径度量相关的函数距离上界，在网络修剪和量化等方面具有广泛适用性，同时提供了新的理论推广界限和与缩放无关的修剪的有前景的概念验证。
- ReLU 网络在低正则函数空间中的逼近误差和复杂度界
通过 ReLU 神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数 - MM神经网络的实际热带几何
考虑一个由两个凸分段线性函数差值定义的二元分类器，其中 ReLU 神经网络的参数空间包含在热带有理函数的参数空间中，我们将该参数空间划分为两个不同的子集：一个由半代数集组成，其决策边界的组合类型固定；一个由多面体扇形组成，捕捉了数据集分割的 - 浅层 ReLU 神经网络与有限元方法
用浅层的 ReLU 神经网络近似表示分段线性函数与有限元函数之间的关系，并通过有限元函数分析 ReLU 神经网络在 $L^p$ 范数下的逼近能力，同时讨论了最近的张量神经网络在张量有限元函数的严格表示上的应用。
- ReLU 神经网络的拓扑表现力
通过拓扑学的角度研究了 ReLU 神经网络在二分类问题中的表达能力。研究结果揭示，深层 ReLU 神经网络在拓扑简化方面远比浅层网络强大，这从数学上解释了为何深层网络更适用于处理复杂和拓扑丰富的数据集。
- 深度 ReLU 网络和高阶有限元方法 II：切比雪夫模拟
对于具有指定参数定义的深度 ReLU 神经网络（NN），本文讨论了其在 Sobolev 范数中的表达速率和稳定性，针对有限分区上的连续的分段多项式函数。我们通过 Chebyshev 多项式展开系数独特构建了 ReLU NN 的代理，这些系数 - 浅层神经网络对 Zonoid 的最优逼近和均匀逼近
研究了两个相关的问题，第一个问题是确定在 Hausdorff 距离下，任意维度为 d+1 的 zonoid 可以通过 n 条线段的和以何种误差进行逼近；第二个问题是确定在变分空间上具有浅层 ReLU^k 神经网络的最优逼近速率。
- ReLU 分类器边界条目的精确计数：朝着分类的恰当复杂度度量
本文提出一种新方法，通过测量决策边界复杂度来提高分类器的泛化能力和鲁棒性，以 ReLU 神经网络为例，使用热带几何学发展了一种可数边界复杂度的方法，并发现边界复杂度与分类器的其它性能指标不相关，同时也与分类器的鲁棒性负相关。
- 使用过参数化的浅层 ReLU 神经网络进行非参数回归
对于从某些光滑函数类中学习函数的任务，如果权重限制或正则化得当，超参数化神经网络可以实现最小极值收敛率 (加上对数因子)。
- 关于 ReLU 网络的样本复杂度的大小无关性研究
本文研究了从推广的角度学习 ReLU 神经网络的样本复杂性，并结合权重矩阵上的范数限制，给出了与网络规模无关的上界，其中 Frobenius norms 为主要研究方向。
- 稍微过参数的 ReLU 网络具有良好的损失景观
研究了两层轻度超参数化 ReLU 神经网络对于平方误差丢失函数的一般有限输入数据集的损失景观，使用 Jacobean 的秩来界定局部和全局极小值集合的维度，并利用随机二进制矩阵的结果证明大多数激活模式对应于没有坏的可微局部极小值的参数区域。
- 交替最小化法解决带有热带有理函数的回归问题
提出了一种用于回归的交替最小化启发式算法，其在固定指数的热带有理函数空间上进行。该方法通过热带多项式回归逐次拟合分子和分母项，并已在实验中展示了其行为。该启发式方法提供了输入数据的合理近似，其工作受到与热带有理函数密切相关的流行机器学习网络 - 浅层 ReLU$^k$ 神经网络的最优逼近速率及其在非参数回归中的应用
研究了一些与浅层 ReLU$^k$ 神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层 ReLU$^k$ 神经网络可以实现学习 - ICLR通过晶格多面体计算整数 ReLU 神经网络深度下限
本文通过利用神经网络和牛顿多面体之间的对偶性，基于 tropical geometry 理论，证明了单层 ReLU 神经网络所能表示的最大值函数类集合随着网络深度的增加而严格扩大，同时允许任意的宽度，且保证网络的权重为整型数。并且，通过对这 - ICLR学习 ReLU 网络以高均匀精度是不可解的
本文中，我们在非线性神经网络学习问题上，通过精确量化每个训练算法所需的最小训练样本数量，以保证目标类中包含或由预定义结构的 ReLU 神经网络的高精度，从而证明了在非常一般的假设下，训练样本的最小数量随着网络结构的深度和输入维度呈指数级增长 - 关于多层 ReLU 网络相关的 Banach 空间：函数表示、逼近理论和梯度下降动态
本文提出了适用于 ReLU 神经网络的 Banach 空间，其中包含了所有有限全连接 L 层网络及其 L^2 - 极限对象，具有低的 Rademacher 复杂性和良好的泛化特性，函数可以通过多层神经网络进行近似，收敛速率与维度无关。
- 基于反例引导的单调神经网络学习
本篇研究提出了一种针对深度学习的单调性约束处理技术及激活函数为 ReLU 神经网络的单调性归纳偏置技术，并实现了名为 COMET 的工具。实验结果显示，该方法与现有单调性学习器相比具有最先进的结果，并且可以提高模型质量。
- 寻找非光滑非凸函数的驻点的复杂度
本文介绍了一种针对非光滑、非凸函数的最新方法，通过概率论的方法实现了解决 ReLU 神经网络参数调整中的复杂问题的方法，其中提出的梯度算法能够使结果的准确度近似于一阶算法，并在距离解决方案的距离 delta 的范围内，得出广义梯度与解决方案