Mar, 2020

非线性功能输出回归：字典方法

PDF
TL;DR介绍了一种基于字典的方法 —— 投影学习，用于解决功能输出回归问题，该方法使用不正交字典进行函数预测，可以与字典学习相结合，因此比基于向量的方法更加灵活。采用向量值函数的再生核希尔伯特空间作为基础的核投影学习具有良好的性能。
projection learningdictionary-based approachfunctional-output regressionkernel-based projection learningfunctional square loss
发现论文，激发创造
  • 用于函数响应数据学习的算子值核

    本文介绍了如何在函数数据上使用再生核希尔伯特空间理论进行有监督学习和回归，扩展了基于核的学习的概念和性质，包括估计函数值函数的算法，阐述了一套严格定义的无限维算子值核，以及非线性函数数据分析的学习算法，并通过语音和音频信号处理实验进行了说明。

    Oct, 2015

  • 广义函数线性模型

    本文提出了一种广义的函数线性回归模型，包括函数线性模型、泊松回归和二项回归，并使用截断 Karhunen-Loeve 展开逼近预测过程进行降维，开发了一种适用于广义回归模型的渐近推断方法，其中截断参数随样本大小而增加，并应用控制变量的中心极限定理来建立维数的渐近增加，建立合适的 L^2 度量下的估计和真实函数之间的适当缩放距离的渐近正态性。

    May, 2005

  • 在线回归竞争与再生核希尔伯特空间

    研究了使用一种新的预测算法在无需假设标签与对象的生成方式的条件下，对已知标签对象的实时预测问题，通过比较此算法与一定范围内的预测规则，证明了此算法的误差率在极限范围下可达到最佳状态，可用于无参统计学的普适预测。

    Nov, 2005

  • 基于超平面的回归神经网络的随机线性投影损失

    我们提出了一种名为随机线性投影（RLP）损失的损失函数，通过该损失函数可以减轻复杂数据集上过拟合的问题。经过在基准数据集和典型合成例子上的实证研究，我们发现使用 RLP 损失训练的神经网络在性能方面取得了改进，且需要更少的数据样本，对加性噪声更加鲁棒，同时我们提供了支持我们实证结果的理论分析。

    Nov, 2023

  • 深度手绘输出内核回归用于结构化预测

    我们提出了一种深度神经网络架构家族，其通过 kernel-induced losses 的数据依赖有限维子空间来预测结构化输出，利用梯度下降算法进行训练，并在合成任务和真实世界的监督图预测问题中展示了方法的相关性。

    Jun, 2024

  • 加性函数回归的最优预测

    本文提出了一种基于 Reproducing Kernel Hilbert Spaces 的估计方法，建立了在预测误差方面我们估计的最优收敛率的非线性函数回归模型，并讨论了在这些复杂模型中出现的计算挑战。同时提供了仿真及应用：在 2008 年金融危机期间的累积日内回报。

    Aug, 2017

  • 基于核嵌入的函数深层神经网络的非线性函数回归

    利用平滑核积分变换的思想，我们提出了一种功能深度神经网络，其具有高效和完全依赖数据的降维方法。我们的功能网络的架构包括核嵌入步骤、投影步骤和表达深度 ReLU 神经网络，利用平滑核嵌入使其具有离散不变性、高效性和对噪声观测的鲁棒性，能够利用输入函数和响应数据的信息，对离散点数量的要求较低，具有良好的泛化性能。我们进行了理论分析和数值模拟来验证我们功能网络的这些优势。

    Jan, 2024

  • 从词典中提取功能表征以用于非刚性形状匹配

    使用功能图的方法来提高形状匹配中点对应的精度，通过用基于词典的主成分分析来解决 Laplace-Beltrami 算子在微小区域内的精度问题。

    May, 2023

  • KF-PLS: 优化带有核流 (K-PLS) 的核偏最小二乘法

    通过核函数优化的方法，本文介绍了基于 Kernel Flows (KF) 技术的核偏最小二乘回归 (K-PLS) 的优化方法，该方法在多元回归中表现出良好的结果，并进行了交叉验证研究和超参数分析。

    Dec, 2023

  • 非参数稀疏性和正则化

    研究非线性模型下的监督学习与变量选择问题，提出一种基于偏导数的非参数稀疏模型，利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法，并通过理论和实验分析表明其具有优秀的性能表现。

    Aug, 2012