本文研究了运算符学习及其在神经网络中的应用，讨论了学习的运算符是单射和满射的情况，得出了一些充分条件。文章证明了所提供的单射神经运算符是通用逼近器，其有限秩神经网络实现仍然是单射的，最后还考虑了子网络的单射和满射性及其在贝叶斯不确定性和反问题中的应用。
Jun, 2023
本论文使用框架理论的设置来研究 ReLU 层在闭球上及其非负部分的可进性问题，特别强调了球的半径和偏置向量之间的相互作用。通过凸几何的视角，结合在偏置向量的上界方面的合理限制，得到了一种可计算的验证 ReLU 层可进性的方法。我们提供了明确的重构公式，灵感来自框架理论的对偶概念。所有这些使得量化 ReLU 层的可逆性成为可能，并为球上任意输入向量提供了具体的重构算法。
Jul, 2023
本文基于框架理论视角，研究了 ReLU 层的可插入性行为，并提出了两种数值逼近方法以确定给定权重和数据域的最大偏差，从而揭示了 ReLU 层中信息丢失的新实用方法。最后，基于框架理论的对偶概念，推导出了显式重构公式。
Jun, 2024
对于具有 ReLU 激活的神经网络的验证，本研究表明了判断单层 ReLU 层的单射性是 coNP 完备问题，但提出了一个基于参数化算法，使得问题相对于输入维度具有固定参数可跟踪性，并且表征了具有一维输出的两层 ReLU 网络的满射性问题与基本网络验证任务相反，揭示出与计算凸性的有趣联系。
May, 2024
通过 ReLu 网络，我们研究解决线性逆问题的可能性。我们证明了使用一个隐藏层的 ReLu 网络无法恢复 1 稀疏向量，但通过两个隐藏层可以以任意精度和任意稀疏度稳定地进行近似恢复，并且我们还将结果推广到包括低秩矩阵恢复和相位恢复在内的更广泛的恢复问题。此外，我们还考虑了使用神经网络来近似一般的正齐次函数，并且我们的结果解释了神经网络在逆问题中通常具有非常大的利普希茨常数，但在对抗性噪声下表现良好的前期矛盾。
Aug, 2023
本文研究了可逆神经网络的数值稳定性，发现常用结构存在逆爆炸现象及无法逆运算等问题，针对不同问题提出了逆问题的解决方法，证明了构建稳定可逆神经网络是重要的。
Jun, 2020
通过分析等价核，我们探讨了具有旋转不变性的权重分布和 ReLU 或 LeakyReLU 激活函数的多层感知机等价核，并使用中心极限定理表明了具有 0 平均值和有限绝对第三矩的权重分布相对于球形高斯权重层的核是渐近通用的。同时，深度网络的等效核趋向于病态固定点，这可用于证明随机初始化网络训练困难。
Nov, 2017
本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。
Jan, 2022
本文分析了 ReLU 激活的隐式神经网络的梯度流，证明了如果隐式神经网络是超参数化的，那么一个随机初始化的梯度下降法可以以线性速率收敛到全局最小值，这一结果与有限层参数超过的神经网络的收敛结果不同，因为本文的结论适用于无限层的神经网络。
Oct, 2021
通过拓扑学的角度研究了 ReLU 神经网络在二分类问题中的表达能力。研究结果揭示，深层 ReLU 神经网络在拓扑简化方面远比浅层网络强大，这从数学上解释了为何深层网络更适用于处理复杂和拓扑丰富的数据集。
Oct, 2023