深层函数机器：用于拓扑层表达的广义神经网络

Dec, 2016

深层函数机器：用于拓扑层表达的广义神经网络

Deep Function Machines: Generalized Neural Networks for Topological Layer Expression

William H. Guss

TL;DR本文提出了一种称为深度函数机器（DFMs）的深度神经网络的概括，DFMs 作用于任意维度（可能是无限）的向量空间，并证明了一族 DFMs 对于输入数据的维度是不变的。使用这一概括，我们提出了一个新的理论，即有界非线性算子在函数空间之间的通用逼近。然后，我们建议 DFMs 提供了一种表达架构，用于以拓扑考虑为基础设计新的神经网络层类型，最后介绍了一种新的架构 RippLeNet，以实现具有分辨率不变性的计算机视觉，并在实践中取得了最先进的不变性。

Abstract

In this paper we propose a generalization of deep neural networks called deep function machines (DFMs). DFMs act on vector spaces of arbitrary (possibly infinite) dimension and we show that a family of DFMs are invariant to the dimension of input data; that is, the parameterization of the model does not directly hinge on the quality of the input (eg. high re

deep function machines neural network topological considerations universal approximation ripplenet

发现论文，激发创造

深度神经网络：非阿基米德分析的形式化

引入了一类具有多层树状结构的深度神经网络 (DNN)，使用无穷非阿基米德局部域的整数环中的数字进行编码。这些环以无限根树的方式具有自然的分层组织。在这些环上的自然态射使我们能够构建有限的多层架构。新的 DNN 是对所提到的环上定义的实值函数的稳健逼近器。我们还表明这些 DNN 也是在单位区间上定义的实值平方可积函数的稳健逼近器。

Jan, 2024

深度神经网络的函数逼近

利用聚合函数表达的子函数描述构成的有向无环图，深度网络比浅层网络更好地逼近这些函数，因为深度网络可以被设计成具有相同的组合结构，而浅层网络无法利用这一知识，组合性的祝福缓解了维数灾难，而称为良好误差传播的定理允许通过选择适当的范数、平滑度等将有关浅层网络的定理推广到有关深层网络的定理。我们在三个环境中说明了这一点，其中每个通道在深层网络中计算球面多项式、非平滑 ReLU 网络或与 ReLU 网络密切相关的另一种区域函数网络。

May, 2019

深度神经网络逼近复合函数的无维度诅咒

本文发现使用修正线性单元（ReLU）激活的深度神经网络（DNNs）可以近似表示一类高维连续函数，其参数数量与输入维度和近似误差的多项式规模相同，该类函数由多个特殊函数的组合表示，包括乘积，最大值和某些并行的 Lipschitz 连续函数。

Apr, 2023

旋转不变逼近与学习的深度神经网络

本研究基于树形结构探讨如何设计深度神经网络用于实现径向函数，以实现在任意高维欧几里得空间内旋转不变性的近乎最优函数逼近。结果显示，深度网络在逼近精度和学习能力方面远优于仅具有一个隐藏层的浅层神经网络，并证明了对于学习径向函数，深度网络可以实现近乎最优的学习速率，而浅层网络却不能。因此，这项研究说明深度在神经网络设计中的必要性，以实现旋转不变的目标函数。

Apr, 2019

通过遍历权重空间的功能不变路径来构建灵活的机器学习系统

通过构建具有功能等效性的网络的路径连接集合，将神经网络的权重空间视为弯曲的黎曼流形并沿着功能不变路径将网络移动，同时寻找满足次要目标的网络，通过路径抽样算法，能够训练具有数百万权重参数的神经网络来学习一系列分类任务而不会损失性能，同时适应包括网络稀疏化，增量任务学习和增加对抗强度在内的次要目标。

Apr, 2022

深度神经网络用于多维函数数据的多类分类

本研究提出了一种新颖的 mfDNN 分类器，用于处理高维函数观测数据，采用稀疏深度神经网络架构，并采用 ReLU 激活函数和交叉熵损失函数来最小化多分类分类设置的风险函数。我们证明了 mfDNN 在模拟数据和不同应用领域的基准数据集上的性能。

May, 2023

深度神经网络逼近不变函数的近似度和复杂度

该研究在理论上研究了深度神经网络在不变函数中的逼近和复杂度特性，证明了不变函数可以被各种类型的神经网络模型进行渐近逼近，并且提供应用于高分辨率信号的参数估计和预测的技术。

Oct, 2022

贝叶斯深度网络广义线性模型（GLM）和广义线性混合模型（GLMM）

使用深度前馈神经网络、广义线性模型和贝叶斯推断等方法，提出一种高精度的回归和分类方法，能够在原有方法中量化预测不确定性并进行变量选择，并在多种模拟和真实数据示例中得到了令人满意的结果。

May, 2018

深度神经网络在近似和估计中适应函数规律性和数据分布

深度学习在不同领域展现了显著的成果，但为了理解其成功，我们需要研究其理论基础。本文探讨了一个不同的角度：深度神经网络如何适应不同地点、尺度和非均匀数据分布的函数的不同规则性。我们使用深层 ReLU 网络发展了非参数逼近和估计理论，并在多个函数类上应用了我们的结果，推导出相应的逼近误差和泛化误差。通过数值实验验证了我们结果的有效性。

Jun, 2024

DeepONet：基于算子的普适逼近定理学习非线性算子用于鉴别微分方程

神经网络具有普适逼近能力，使用一层隐藏层即可精确逼近任何非线性连续算子，但需要 DeepONet 结构通过降低泛化误差以实现其潜力应用。

Oct, 2019