本文探讨了深度神经网络中全连接和卷积层的可逆性和稳定性，指出了扩张性因子对网络可逆性的必要性和充分性，证明了任何 Lipschitz 映射都可以近似为可逆的 ReLU 网络，并提出了一个基于随机投影的全局可逆性模型。

Jun, 2020

本研究介绍了神经算子，它是一种学习算子的新型神经网络，能够在无限维函数空间中进行映射。我们证明了神经算子的广义逼近定理，可以逼近任何连续非线性算子。研究还提出了四类高效的参数化方法，并在偏微分方程的解算子的代理映射中应用了神经算子，结果表明相较于传统 PDE 求解器和现有的机器学习方法，神经算子具有更好的性能优势且速度更快。

Aug, 2021

对于具有 ReLU 激活的神经网络的验证，本研究表明了判断单层 ReLU 层的单射性是 coNP 完备问题，但提出了一个基于参数化算法，使得问题相对于输入维度具有固定参数可跟踪性，并且表征了具有一维输出的两层 ReLU 网络的满射性问题与基本网络验证任务相反，揭示出与计算凸性的有趣联系。

May, 2024

本文基于框架理论视角，研究了 ReLU 层的可插入性行为，并提出了两种数值逼近方法以确定给定权重和数据域的最大偏差，从而揭示了 ReLU 层中信息丢失的新实用方法。最后，基于框架理论的对偶概念，推导出了显式重构公式。

Jun, 2024

本论文使用框架理论的设置来研究 ReLU 层在闭球上及其非负部分的可进性问题，特别强调了球的半径和偏置向量之间的相互作用。通过凸几何的视角，结合在偏置向量的上界方面的合理限制，得到了一种可计算的验证 ReLU 层可进性的方法。我们提供了明确的重构公式，灵感来自框架理论的对偶概念。所有这些使得量化 ReLU 层的可逆性成为可能，并为球上任意输入向量提供了具体的重构算法。

Jul, 2023

本文通过证明非多项式激活的神经网络矩阵可以定义一个可逆的多重集合函数，来填补理论和实践之间的差距。作为推论，我们推导了有关多重集合和测度函数的新逼近结果，以及图神经网络的新分离结果。

Jun, 2023

利用我们在 arXiv:2109.13512v4 提出的无限维神经网络架构，该架构可以处理来自 Frechet 空间的输入，并利用其中证明的通用逼近性质，我们现在通过证明一些普适逼近定理，大大扩展了该架构的适用范围，针对广泛类别的输入和输出空间。

Jun, 2024

通过 ReLu 网络，我们研究解决线性逆问题的可能性。我们证明了使用一个隐藏层的 ReLu 网络无法恢复 1 稀疏向量，但通过两个隐藏层可以以任意精度和任意稀疏度稳定地进行近似恢复，并且我们还将结果推广到包括低秩矩阵恢复和相位恢复在内的更广泛的恢复问题。此外，我们还考虑了使用神经网络来近似一般的正齐次函数，并且我们的结果解释了神经网络在逆问题中通常具有非常大的利普希茨常数，但在对抗性噪声下表现良好的前期矛盾。

Aug, 2023

通过对神经网络的输入层和输出层进行修改，在保持其基本架构能力的同时，实现了任意连续函数在相应连续紧致集上的均一逼近能力。此研究同时发现当输入输出空间为 Cartan-Hadamard 流形时，常用的非欧几里得回归模型可扩充至通用的深度神经网络，并且该扩充同样应用在用于分层学习的双曲线正切前馈网络上。

Jun, 2020

本文首次研究了基于神经网络的多输入算子回归问题，并证明了连续多输入算子的通用逼近定理。基于此，结合低秩分解，提出了一个新的神经算子 MIONet，可应用于求解由常微分方程和偏微分方程控制的系统。同时研究了提高神经算子精度的方法，如先验知识的引入。

Feb, 2022