本文提出了一种称为深度函数机器（DFMs）的深度神经网络的概括，DFMs 作用于任意维度（可能是无限）的向量空间，并证明了一族 DFMs 对于输入数据的维度是不变的。使用这一概括，我们提出了一个新的理论，即有界非线性算子在函数空间之间的通用逼近。然后，我们建议 DFMs 提供了一种表达架构，用于以拓扑考虑为基础设计新的神经网络层类型，最后介绍了一种新的架构 RippLeNet，以实现具有分辨率不变性的计算机视觉，并在实践中取得了最先进的不变性。

Dec, 2016

我们描述了深度学习数学分析的新领域，涉及到超参数神经网络的普适性，深度对于网络的作用，感知问题的缺失，问题优化性能的成功和架构的各个方面对学习任务的影响，并提供了现代方法的概述和详细的主要思想。

May, 2021

神经网络在生活中起着至关重要的作用，最现代的生成模型能够取得令人印象深刻的结果。本文将几何框架应用于研究神经网络，探讨卷积、残差和递归神经网络，以及非可微激活函数的情况，并通过图像分类和热力学问题的数值实验来说明研究结果。

Apr, 2024

我们提出了一个统一的优化框架，用于训练不同类型的深度神经网络，并在任意损失、激活和正则化函数上建立其收敛性。该框架推广了众所周知的一阶和二阶训练方法，并允许我们展示这些方法在各种深度神经网络架构和学习任务中的收敛性为我们的方法的一种特殊情况。

May, 2018

深度学习在不同领域展现了显著的成果，但为了理解其成功，我们需要研究其理论基础。本文探讨了一个不同的角度：深度神经网络如何适应不同地点、尺度和非均匀数据分布的函数的不同规则性。我们使用深层 ReLU 网络发展了非参数逼近和估计理论，并在多个函数类上应用了我们的结果，推导出相应的逼近误差和泛化误差。通过数值实验验证了我们结果的有效性。

Jun, 2024

本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

Mar, 2019

通过对神经网络的输入层和输出层进行修改，在保持其基本架构能力的同时，实现了任意连续函数在相应连续紧致集上的均一逼近能力。此研究同时发现当输入输出空间为 Cartan-Hadamard 流形时，常用的非欧几里得回归模型可扩充至通用的深度神经网络，并且该扩充同样应用在用于分层学习的双曲线正切前馈网络上。

Jun, 2020

采用深度神经网络和 ReLU 激活函数，本研究证明能够在任意维度的分形网格上表示 Lagrange 有限元函数。通过引入基函数的新型全局公式，基于几何分解和高维分形网格及质心坐标函数的两个关键性质，该表示理论为这些深度神经网络的自然近似结果提供了便利。研究结果首次证明了深度神经网络如何系统地生成一般的连续分段多项式函数。

Dec, 2023

本文提出了一种基于多项式扩展的新型函数逼近器 ——π- 网，它是多项式神经网络，通过具有共享因子的张量集合分解来估计自然表示的未知参数，可用于许多任务和信号的表达建模，并在激活函数的辅助下在图像生成、人脸验证和 3D 网格表示学习等任务中实现了最新的结果。

Jun, 2020

本研究基于树形结构探讨如何设计深度神经网络用于实现径向函数，以实现在任意高维欧几里得空间内旋转不变性的近乎最优函数逼近。结果显示，深度网络在逼近精度和学习能力方面远优于仅具有一个隐藏层的浅层神经网络，并证明了对于学习径向函数，深度网络可以实现近乎最优的学习速率，而浅层网络却不能。因此，这项研究说明深度在神经网络设计中的必要性，以实现旋转不变的目标函数。

Apr, 2019