深度学习在不同领域展现了显著的成果，但为了理解其成功，我们需要研究其理论基础。本文探讨了一个不同的角度：深度神经网络如何适应不同地点、尺度和非均匀数据分布的函数的不同规则性。我们使用深层 ReLU 网络发展了非参数逼近和估计理论，并在多个函数类上应用了我们的结果，推导出相应的逼近误差和泛化误差。通过数值实验验证了我们结果的有效性。

Jun, 2024

本研究提出了一种新颖的 mfDNN 分类器，用于处理高维函数观测数据，采用稀疏深度神经网络架构，并采用 ReLU 激活函数和交叉熵损失函数来最小化多分类分类设置的风险函数。我们证明了 mfDNN 在模拟数据和不同应用领域的基准数据集上的性能。

May, 2023

将 Radial-Basis Function Networks 和 Multi-Layer Perceptron 模型扩展到功能数据输入，以处理由输入输出对列表定义的功能数据，包括平滑基底上的投影、Functional Principal Component Analysis、功能居中和降级以及微分算子的使用， 并在光谱数据分析基准测试中展示了这种功能方法。

Sep, 2007

深度神经网络（DNN）已成为高维输入数据函数逼近的标准工具，但许多现实世界中的问题具有低维输入，对于这些问题，标准的多层感知器（MLPs）是默认选择。我们提出了一种称为单变量径向基函数（U-RBF）层的新颖 DNN 层，作为一种替代选择。类似于大脑中的感觉神经元，U-RBF 层使用一组神经元来处理每个单独的输入维度，其激活取决于不同的优先输入值。我们在低维函数回归和强化学习任务中验证了其与 MLPs 相比的效果。结果表明，当目标函数变得复杂且难以逼近时，U-RBF 尤其具有优势。

Nov, 2023

本文研究了多层感知机（MLP）对功能性输入的自然扩展。我们证明了对于经典的 MLP 的基本结果可以推广到功能性 MLP。我们获得了表达能力与数值 MLP 相当的通用逼近结果。我们获得了一致性结果，这意味着对于功能性 MLP 的最优参数估计在统计上是良好定义的。最后，我们在模拟和真实世界数据上展示了所提出的模型的表现非常令人满意。

Sep, 2007

利用平滑核积分变换的思想，我们提出了一种功能深度神经网络，其具有高效和完全依赖数据的降维方法。我们的功能网络的架构包括核嵌入步骤、投影步骤和表达深度 ReLU 神经网络，利用平滑核嵌入使其具有离散不变性、高效性和对噪声观测的鲁棒性，能够利用输入函数和响应数据的信息，对离散点数量的要求较低，具有良好的泛化性能。我们进行了理论分析和数值模拟来验证我们功能网络的这些优势。

Jan, 2024

使用卷积神经网络（CNN）对嘈杂和非嘈杂的函数数据进行回归和分类学习问题，通过将函数数据转换为 28 乘以 28 的图像，采用特定的卷积神经网络架构进行参数估计和函数形式分类的回归案例研究，应用于混沌数据的李雅普诺夫指数估计、疾病传播率估计、药物溶解剖面的相似性检测以及帕金森病患者检测等问题，该方法简单但准确率高，有广泛的工程和医学应用前景。

Oct, 2023

使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

Dec, 2014

本文提出了一种称为深度函数机器（DFMs）的深度神经网络的概括，DFMs 作用于任意维度（可能是无限）的向量空间，并证明了一族 DFMs 对于输入数据的维度是不变的。使用这一概括，我们提出了一个新的理论，即有界非线性算子在函数空间之间的通用逼近。然后，我们建议 DFMs 提供了一种表达架构，用于以拓扑考虑为基础设计新的神经网络层类型，最后介绍了一种新的架构 RippLeNet，以实现具有分辨率不变性的计算机视觉，并在实践中取得了最先进的不变性。

Dec, 2016

提出了一种基于端到端训练的神经网络的方法，该方法通过将黑盒函数的功能与可微分的神经网络进行逼近，以驱动神经网络遵守黑盒函数接口。在推理时，将不可微分的外部黑盒替换为其可微分的估计器，通过此方法，可以在无需中间标签的情况下，训练一个神经网络，从而计算黑盒功能的输入，并且这种综合模型比完全可微分的模型泛化效果更好，并且相对于基于强化学习的方法学习效率更高。

Jan, 2019