深度神经网络用于多维函数数据的多类分类

May, 2023

深度神经网络用于多维函数数据的多类分类

Multiclass classification for multidimensional functional data through deep neural networks

Shuoyang Wang, Guanqun Cao

TL;DR本研究提出了一种新颖的 mfDNN 分类器，用于处理高维函数观测数据，采用稀疏深度神经网络架构，并采用 ReLU 激活函数和交叉熵损失函数来最小化多分类分类设置的风险函数。我们证明了 mfDNN 在模拟数据和不同应用领域的基准数据集上的性能。

Abstract

The intrinsically infinite-dimensional features of the functional observations over multidimensional domains render the standard classification methods effectively inapplicable. To address this problem, we introduce a novel multiclass functional deep neural network (mfDNN) classifier as an innovative data mining and classification tool. Specifically, we cons

functional observations multiclass classification neural network architecture cross-entropy loss misclassification risk functions

发现论文，激发创造

深度神经网络逼近复合函数的无维度诅咒

本文发现使用修正线性单元（ReLU）激活的深度神经网络（DNNs）可以近似表示一类高维连续函数，其参数数量与输入维度和近似误差的多项式规模相同，该类函数由多个特殊函数的组合表示，包括乘积，最大值和某些并行的 Lipschitz 连续函数。

Apr, 2023

自适应基层功能数据分析的深度学习

尽管深度神经网络广泛应用于许多领域，但在数学函数数据分析领域却非常少见。本文提出了自适应学习基函数来实现是否有效的降维，引入神经网络，证明本方法在多种分类 / 回归任务中的实验结果均优于其他类型的神经网络。

Jun, 2021

多元神经网络学习真实目标函数

通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

Nov, 2016

深层函数机器：用于拓扑层表达的广义神经网络

本文提出了一种称为深度函数机器（DFMs）的深度神经网络的概括，DFMs 作用于任意维度（可能是无限）的向量空间，并证明了一族 DFMs 对于输入数据的维度是不变的。使用这一概括，我们提出了一个新的理论，即有界非线性算子在函数空间之间的通用逼近。然后，我们建议 DFMs 提供了一种表达架构，用于以拓扑考虑为基础设计新的神经网络层类型，最后介绍了一种新的架构 RippLeNet，以实现具有分辨率不变性的计算机视觉，并在实践中取得了最先进的不变性。

Dec, 2016

使用具有 ReLU 激活函数的深度神经网络进行非参数回归

使用基于稀疏连接 ReLU 激活函数的深层神经网络，通过适当选择网络结构实现多变量非参数回归模型的极小极限 (最优) 收敛速率 (最多出现 $log n$- 因子)，同时为多层前馈神经网络表现良好提供理论解释，并表明在不用结构约束的情况下，调整深度可以使模型的性能更好。

Aug, 2017

基于核嵌入的函数深层神经网络的非线性函数回归

利用平滑核积分变换的思想，我们提出了一种功能深度神经网络，其具有高效和完全依赖数据的降维方法。我们的功能网络的架构包括核嵌入步骤、投影步骤和表达深度 ReLU 神经网络，利用平滑核嵌入使其具有离散不变性、高效性和对噪声观测的鲁棒性，能够利用输入函数和响应数据的信息，对离散点数量的要求较低，具有良好的泛化性能。我们进行了理论分析和数值模拟来验证我们功能网络的这些优势。

Jan, 2024

功能多层感知机：一种用于功能数据分析的非线性工具

本文研究了多层感知机（MLP）对功能性输入的自然扩展。我们证明了对于经典的 MLP 的基本结果可以推广到功能性 MLP。我们获得了表达能力与数值 MLP 相当的通用逼近结果。我们获得了一致性结果，这意味着对于功能性 MLP 的最优参数估计在统计上是良好定义的。最后，我们在模拟和真实世界数据上展示了所提出的模型的表现非常令人满意。

Sep, 2007

使用卷积神经网络进行功能数据学习

使用卷积神经网络（CNN）对嘈杂和非嘈杂的函数数据进行回归和分类学习问题，通过将函数数据转换为 28 乘以 28 的图像，采用特定的卷积神经网络架构进行参数估计和函数形式分类的回归案例研究，应用于混沌数据的李雅普诺夫指数估计、疾病传播率估计、药物溶解剖面的相似性检测以及帕金森病患者检测等问题，该方法简单但准确率高，有广泛的工程和医学应用前景。

Oct, 2023

深度神经网络在近似和估计中适应函数规律性和数据分布

深度学习在不同领域展现了显著的成果，但为了理解其成功，我们需要研究其理论基础。本文探讨了一个不同的角度：深度神经网络如何适应不同地点、尺度和非均匀数据分布的函数的不同规则性。我们使用深层 ReLU 网络发展了非参数逼近和估计理论，并在多个函数类上应用了我们的结果，推导出相应的逼近误差和泛化误差。通过数值实验验证了我们结果的有效性。

Jun, 2024

利用深层 ReLU 网络对高斯混合模型生成的数据进行分类

该研究使用深度 ReLU 神经网络对由 Gaussian Mixture Models (GMMs) 在 $R^d$ 下生成的无界数据进行二元分类，并首次获得了无需限制模型参数的分类的非渐进上界和收敛速度的超额风险 (超额误分类误差)。所得到的收敛速度不依赖于维度 d，表明深度 ReLU 网络能够克服在分类中的维度困境。通过利用高斯分布的解析性和快速衰减，我们考虑了一个无界域，以改善现有分类算法的泛化分析，为一般解析函数使用 ReLU 网络提供了新颖的近似误差界限，这对研究人员可能具有独立的兴趣。高斯分布很好地适用于建模应用中产生的数据，例如语音、图像和文本；我们的结果在实际分类问题中为深度神经网络的效率提供了理论验证。

Aug, 2023