Jan, 2024

基于核嵌入的函数深层神经网络的非线性函数回归

PDF
TL;DR利用平滑核积分变换的思想，我们提出了一种功能深度神经网络，其具有高效和完全依赖数据的降维方法。我们的功能网络的架构包括核嵌入步骤、投影步骤和表达深度 ReLU 神经网络，利用平滑核嵌入使其具有离散不变性、高效性和对噪声观测的鲁棒性，能够利用输入函数和响应数据的信息，对离散点数量的要求较低，具有良好的泛化性能。我们进行了理论分析和数值模拟来验证我们功能网络的这些优势。
deep learningfunctional data analysisdimension reductionsmooth kernel integral transformationfunctional deep neural network
发现论文，激发创造
  • 用于平滑和表示学习的功能性自编码器

    本研究提出了使用神经网络自编码器学习函数数据的非线性表示，以实现功能性数据分析，包括投影层计算加权内积以及利用一组预定义基函数从功能数据中提取的有限维向量回显功能空间。实验证明，该方法在预测和分类方面优于功能性主成分分析，并且在线性和非线性情况下都具有较强的平滑能力和更好的计算效率。

    Jan, 2024

  • 神经网络中的函数数据表示

    将 Radial-Basis Function Networks 和 Multi-Layer Perceptron 模型扩展到功能数据输入，以处理由输入输出对列表定义的功能数据，包括平滑基底上的投影、Functional Principal Component Analysis、功能居中和降级以及微分算子的使用， 并在光谱数据分析基准测试中展示了这种功能方法。

    Sep, 2007

  • 使用卷积神经网络进行功能数据学习

    使用卷积神经网络（CNN）对嘈杂和非嘈杂的函数数据进行回归和分类学习问题，通过将函数数据转换为 28 乘以 28 的图像，采用特定的卷积神经网络架构进行参数估计和函数形式分类的回归案例研究，应用于混沌数据的李雅普诺夫指数估计、疾病传播率估计、药物溶解剖面的相似性检测以及帕金森病患者检测等问题，该方法简单但准确率高，有广泛的工程和医学应用前景。

    Oct, 2023

  • 深度手绘输出内核回归用于结构化预测

    我们提出了一种深度神经网络架构家族，其通过 kernel-induced losses 的数据依赖有限维子空间来预测结构化输出，利用梯度下降算法进行训练，并在合成任务和真实世界的监督图预测问题中展示了方法的相关性。

    Jun, 2024

  • 小数据学习的概率嵌入深度核方法

    通过使用概率神经网络学习概率嵌入深核，我们可以解决高维数据的表示学习和数据效率之间的问题， 实验结果表明，我们的方法在监督和半监督学习中均优于现有的高斯过程核方法，并且扩展到其他小数据范例，在 mini-Imagenet 和 CUB 数据集上胜过先前的方法。

    Oct, 2019

  • 深度神经网络用于多维函数数据的多类分类

    本研究提出了一种新颖的 mfDNN 分类器，用于处理高维函数观测数据，采用稀疏深度神经网络架构，并采用 ReLU 激活函数和交叉熵损失函数来最小化多分类分类设置的风险函数。我们证明了 mfDNN 在模拟数据和不同应用领域的基准数据集上的性能。

    May, 2023

  • 时间序列的双向降维的一种函数方法

    本文提出了一种非线性函数对函数的降维方法，使用连续神经元的连续隐藏层来学习函数数据中固有的结构，通过降低函数特征数和观测时间点数来得到一个低维的潜在表征，从而在时间序列的维度缩减方面取得了比目前方法更好的效果。

    Jan, 2023

  • 用功能线性模型对基于物理的问题中的深度学习进行解读和泛化

    通过提出广义函数线性模型作为一个可解释的替代模型，可以在科学机器学习中获得可比较的准确性并提高超出分布数据的泛化能力，同时提供更多的透明度和可解释性。

    Jul, 2023

  • 功能数据分类的支持向量机

    本文研究了使用支持向量机（SVM）进行函数数据分析的问题，着眼于曲线判别问题，展示了如何定义简单的内核函数以考虑数据的函数性质并导致一致的分类，实验表明考虑问题的函数特征对数据的分析是有益的。

    May, 2007

  • 自适应基层功能数据分析的深度学习

    尽管深度神经网络广泛应用于许多领域，但在数学函数数据分析领域却非常少见。本文提出了自适应学习基函数来实现是否有效的降维，引入神经网络，证明本方法在多种分类 / 回归任务中的实验结果均优于其他类型的神经网络。

    Jun, 2021