功能多层感知机:一种用于功能数据分析的非线性工具
本研究提出了一种新颖的 mfDNN 分类器,用于处理高维函数观测数据,采用稀疏深度神经网络架构,并采用 ReLU 激活函数和交叉熵损失函数来最小化多分类分类设置的风险函数。我们证明了 mfDNN 在模拟数据和不同应用领域的基准数据集上的性能。
May, 2023
使用卷积神经网络(CNN)对嘈杂和非嘈杂的函数数据进行回归和分类学习问题,通过将函数数据转换为 28 乘以 28 的图像,采用特定的卷积神经网络架构进行参数估计和函数形式分类的回归案例研究,应用于混沌数据的李雅普诺夫指数估计、疾病传播率估计、药物溶解剖面的相似性检测以及帕金森病患者检测等问题,该方法简单但准确率高,有广泛的工程和医学应用前景。
Oct, 2023
将 Radial-Basis Function Networks 和 Multi-Layer Perceptron 模型扩展到功能数据输入,以处理由输入输出对列表定义的功能数据,包括平滑基底上的投影、Functional Principal Component Analysis、功能居中和降级以及微分算子的使用, 并在光谱数据分析基准测试中展示了这种功能方法。
Sep, 2007
尽管深度神经网络广泛应用于许多领域,但在数学函数数据分析领域却非常少见。本文提出了自适应学习基函数来实现是否有效的降维,引入神经网络,证明本方法在多种分类 / 回归任务中的实验结果均优于其他类型的神经网络。
Jun, 2021
通过将输入点通过简单的傅里叶特征映射传递,使得多层感知机(MLP)能够学习低维问题领域中的高频函数。研究结果对计算机视觉和图形学领域中使用 MLP 表示复杂 3D 对象和场景的最新进展提供了启示。通过神经切比雪夫核(NTK)文献中的工具,我们展示了标准 MLP 在理论和实践中都无法学习高频的结论。为了克服这种频谱偏差,我们使用傅里叶特征映射将有效的 NTK 转换为带有可调节带宽的平稳核。我们提出了一种选择问题特定的傅里叶特征的方法,极大地提高了 MLP 在与计算机视觉和图形学相关的低维回归任务中的性能。
Jun, 2020
通过使用功能链神经网络将数据样本转换为非线性领域,并通过学习机制获取自表达矩阵,我们提出了一种高计算效率且具有良好聚类性能的非线性子空间聚类方法。通过引入局部相似性正则化以增强分组效果,并将线性子空间聚类方法与功能链神经网络子空间聚类方法相结合,实现了线性和非线性表示之间的动态平衡。大量实验证实了我们方法的改进效果。
Feb, 2024
本文提出了一种使用双重 Multi-Layer Perceptrons(MLPs)体系结构的信号表示方法,其中合成网络创建了从低维输入到输出域的功能映射,调制网络将目标信号对应的潜在代码映射到调制周期激活的参数,实现了图像、视频和形状的可推广的功能表示,并实现了比单一信号优化的先前工作更高的重建质量。
Apr, 2021
本文使用注意力机制定义了一组新颖的置换等变的权值空间层,并将它们组合成深度等变模型,称为神经功能变压器 (NFTs),并利用 NFTs 开发了 Inr2Array,一种从隐式神经表示的权重中计算置换不变潜在表示的新方法。
May, 2023
深度学习在不同领域展现了显著的成果,但为了理解其成功,我们需要研究其理论基础。本文探讨了一个不同的角度:深度神经网络如何适应不同地点、尺度和非均匀数据分布的函数的不同规则性。我们使用深层 ReLU 网络发展了非参数逼近和估计理论,并在多个函数类上应用了我们的结果,推导出相应的逼近误差和泛化误差。通过数值实验验证了我们结果的有效性。
Jun, 2024
本文探讨了一种基于 Forward-Forward 学习算法的单多输出感知器分类器,该分类器在参数训练中更好地应对非线性决策边界数据,并且只需要一次矩阵乘法。
Apr, 2023